Un modèle de langage peut-il choisir des trades crypto ? Nous avons testé 6 536 candidats
Nous avons demandé à un petit modèle de langage de classer 6 536 candidats de trade crypto selon leur rendement attendu sur l'heure suivante. Les trades qu'il a le plus appréciés ont obtenu les pires résultats.
Comment ceci a été réalisé : le code, les séries d'analyses et les premières versions de ce texte ont été produits par un assistant IA travaillant sous la direction de l'opérateur ; l'opérateur a pris toutes les décisions et vérifié les chiffres. Tout le trading était fictif (paper trading) : prix réels, aucun argent réel. Rien ici ne constitue un conseil en investissement.
Le test
Notre moteur de trading a enregistré chaque moment où il envisageait d'acheter une crypto sur Upbit entre le 15 et le 18 septembre 2026, avec ce qu'il voyait : l'évolution des prix, la profondeur du carnet d'ordres, les trades récents et ses propres scores. Nous avons soumis chacun de ces 6 536 candidats à un modèle de langage à poids ouverts d'environ 9 milliards de paramètres, en lui demandant d'estimer le rendement une heure plus tard. Il a répondu pour tous sauf 26. Ses estimations allaient de −0,45 % à +0,80 % : il établissait donc clairement des distinctions.
Les cryptos évoluent ensemble ; les candidats d'un même moment ne sont donc pas indépendants. Nous les avons regroupés en 87 événements indépendants et avons évalué les résultats à ce niveau.
Le résultat
| Trades choisis | Événements indépendants | Candidats | Moyenne après coûts, 1 heure |
|---|---|---|---|
| Les 10 % que le modèle a le plus appréciés | 73 | 651 | −0,79 % |
| Les 25 % qu'il a le plus appréciés | 85 | 1 627 | −0,61 % |
| Les 50 % qu'il a le plus appréciés | 87 | 3 255 | −0,52 % |
| Tous les candidats | 87 | 6 536 | −0,44 % |
| Les 20 % les mieux classés selon le score propre du moteur de trading | 87 | 1 307 | −0,37 % |
Tous les groupes ont perdu de l'argent après coûts, ce qui était prévisible pour des trades d'une heure. Ce qui compte, c'est l'ordre : plus le modèle appréciait un trade, plus son résultat était mauvais, et ce sur quatre paliers qui vont tous dans le même sens. La corrélation de rang entre les estimations du modèle et les résultats réels était de 0,01, ce qui ne fait pas mieux que le hasard. Le score simple du moteur lui-même a fait légèrement mieux que de prendre tous les trades ; le modèle a fait moins bien que les deux.
Une explication plausible, que nous n'avons pas pu confirmer avec les données conservées, est que le modèle favorisait les cryptos qui bougent beaucoup, et que les petites cryptos très rapides ont des spreads larges, ce qui représente un coût.
Les erreurs que nous avons failli publier
Ce test a demandé trois essais pour être mené correctement, et ce sont les erreurs qui sont instructives :
- Compter des lignes comme des événements. Une version antérieure avait trouvé une tranche de données qui réussissait tous les tests, avec une statistique t de 3,38 sur 446 lignes. Regroupée en événements indépendants de 4 heures, elle ne comptait plus que 14 événements et une statistique t de 0,29 : un simple pile ou face. Trente cryptos au même moment avaient été comptées trente fois.
- Lire la meilleure cellule. La ligne de synthèse de l'outil de notation avait retenu la meilleure de nombreuses cellules, +0,51 % par trade, et y voyait de la compétence. Cette cellule contenait 19 lignes issues de 15 événements, avec une statistique t de 0,42.
- Découper jusqu'à ce que quelque chose apparaisse. Une cellule sur seize semblait prouver que les signaux d'achat du moteur étaient nuisibles. Une fois son erreur standard prise en compte, ce n'était que du bruit.
Ce qu'ont constaté d'autres études
Les benchmarks académiques vont dans le même sens : sur de longs tests, les avantages de trading des modèles de langage fondent nettement, la plupart des modèles font moins bien qu'une simple stratégie d'achat-conservation (buy and hold), et le classement d'un modèle dans les classements de chatbots dit peu de choses sur sa façon de trader (FINSABER, StockBench, LiveTradeBench).
Notre réponse, pour ce modèle, cet horizon et ce marché, est non. Un modèle plus grand ferait peut-être mieux ; un avantage plus important devrait encore survivre à des coûts déjà supérieurs au meilleur signal que nous ayons eu. Ce que montre le bilan public sur les bots IA.