¿Puede un modelo de lenguaje elegir operaciones de cripto? Probamos 6536 candidatos
Le pedimos a un modelo de lenguaje pequeño que ordenara 6536 operaciones cripto candidatas según su rentabilidad esperada en la hora siguiente. Las operaciones que más le gustaron fueron las que peor resultado dieron.
Cómo se hizo: el código, las ejecuciones de investigación y los primeros borradores de este texto los produjo un asistente de IA bajo la dirección del operador; el operador tomó todas las decisiones y comprobó las cifras. Todas las operaciones fueron simuladas: precios reales, sin dinero real. Nada de esto es asesoramiento de inversión.
La prueba
Nuestro motor de trading registró cada momento en que consideró comprar una moneda en Upbit entre el 15 y el 18 de septiembre de 2026, junto con lo que veía: el comportamiento del precio, la profundidad del libro de órdenes, las operaciones recientes y sus propias puntuaciones. Entregamos cada una de estas 6536 candidatas a un modelo de lenguaje de pesos abiertos con unos 9 mil millones de parámetros y le pedimos que estimara la rentabilidad una hora después. Respondió a todas menos 26. Sus estimaciones fueron de −0,45 % a +0,80 %, así que claramente hacía distinciones.
Las monedas se mueven en conjunto, por lo que las candidatas del mismo momento no son independientes. Las agrupamos en 87 eventos independientes y puntuamos a ese nivel.
El resultado
| Operaciones elegidas | Eventos independientes | Candidatas | Promedio tras costes, 1 hora |
|---|---|---|---|
| El 10 % que más le gustó al modelo | 73 | 651 | −0,79 % |
| El 25 % que más le gustó | 85 | 1627 | −0,61 % |
| El 50 % que más le gustó | 87 | 3255 | −0,52 % |
| Todas las candidatas | 87 | 6536 | −0,44 % |
| El 20 % superior según la puntuación propia del motor de trading | 87 | 1307 | −0,37 % |
Todos los grupos perdieron dinero tras costes, como era de esperar en operaciones a una hora. Lo que importa es el orden: cuanto más le gustaba una operación al modelo, peor resultado tenía, en cuatro escalones que apuntan en el mismo sentido. La correlación de rangos entre las estimaciones del modelo y los resultados reales fue de 0,01, no mejor que el azar. La puntuación simple del propio motor salió ligeramente mejor que tomar todas las operaciones; el modelo salió peor que ambas opciones.
Una explicación plausible, que no pudimos confirmar con los datos que conservamos, es que el modelo favorecía las monedas que se mueven mucho, y las monedas pequeñas que se mueven rápido tienen diferenciales (spread) amplios, que son un coste.
Los errores que casi publicamos
Esta prueba requirió tres intentos para salir bien, y los errores son la parte útil:
- Contar filas como eventos. Una versión anterior encontró un subconjunto de datos que superaba todas las pruebas, con un estadístico t de 3,38 sobre 446 filas. Agrupado en eventos independientes de 4 horas, eran 14 eventos y un estadístico t de 0,29: un cara o cruz. Treinta monedas en el mismo momento se habían contado treinta veces.
- Quedarse con la mejor celda. La línea de resumen de la herramienta de puntuación eligió la mejor de muchas celdas, +0,51 % por operación, y la presentó como habilidad. Esa celda contenía 19 filas de 15 eventos, con un estadístico t de 0,42.
- Dividir hasta que aparezca algo. Una de dieciséis celdas parecía una prueba de que las señales de compra del motor eran perjudiciales. Con su error estándar adjunto, era ruido.
Qué encontraron otros estudios
Los benchmarks académicos apuntan en la misma dirección: en pruebas largas, las ventajas de trading de los modelos de lenguaje se reducen drásticamente, la mayoría de los modelos queda por detrás de comprar y mantener (buy-and-hold), y la posición de un modelo en las clasificaciones de chatbots dice poco sobre cómo opera (FINSABER, StockBench, LiveTradeBench).
Nuestra respuesta para este modelo, este horizonte y este mercado es que no. Un modelo más grande podría hacerlo mejor; una ventaja mayor aun así tendría que sobrevivir a unos costes que ya eran mayores que la mejor señal que teníamos. Lo que muestra el registro público sobre los bots de trading con IA.