Um modelo de linguagem consegue escolher operações de cripto? Testamos 6.536 candidatos
Pedimos a um modelo de linguagem pequeno que classificasse 6.536 operações candidatas de cripto pelo retorno esperado na hora seguinte. As operações de que ele mais gostou tiveram o pior desempenho.
Como isto foi feito: o código, as execuções da pesquisa e os primeiros rascunhos deste texto foram produzidos por um assistente de IA que trabalhou sob a direção do operador; o operador tomou todas as decisões e conferiu os números. Toda a negociação foi simulada (paper trading): preços reais, sem dinheiro de verdade. Nada aqui é recomendação de investimento.
O teste
Nosso mecanismo de trading registrou cada momento em que considerou comprar uma moeda na Upbit entre 15 e 18 de setembro de 2026, junto com o que ele via: comportamento do preço, profundidade do livro de ofertas, negociações recentes e suas próprias pontuações. Entregamos cada uma dessas 6.536 operações candidatas a um modelo de linguagem de pesos abertos com cerca de 9 bilhões de parâmetros e pedimos que estimasse o retorno uma hora depois. Ele respondeu a todas, exceto 26. Suas estimativas variaram de −0,45% a +0,80%, então ele claramente fazia distinções.
As moedas se movem juntas, então operações candidatas do mesmo momento não são independentes. Agrupamos tudo em 87 eventos independentes e fizemos a avaliação nesse nível.
O resultado
| Operações escolhidas | Eventos independentes | Candidatas | Média após os custos, 1 hora |
|---|---|---|---|
| Os 10% de que o modelo mais gostou | 73 | 651 | −0,79% |
| Os 25% de que mais gostou | 85 | 1.627 | −0,61% |
| Os 50% de que mais gostou | 87 | 3.255 | −0,52% |
| Todas as candidatas | 87 | 6.536 | −0,44% |
| Os 20% melhores pela pontuação do próprio mecanismo de trading | 87 | 1.307 | −0,37% |
Todos os grupos perderam dinheiro após os custos, como esperado em operações de uma hora. O que importa é a ordem: quanto mais o modelo gostava de uma operação, pior ela era, em quatro degraus que apontam na mesma direção. A correlação de postos entre as estimativas do modelo e os resultados reais foi de 0,01, não melhor do que o acaso. A pontuação simples do próprio mecanismo se saiu um pouco melhor do que fazer todas as operações; o modelo se saiu pior que ambos.
Uma explicação plausível, que não conseguimos confirmar com os dados que guardamos, é que o modelo favorecia moedas que se movem muito, e moedas pequenas de movimento rápido têm spreads largos, que são um custo.
Os erros que quase publicamos
Este teste exigiu três tentativas para ficar correto, e os erros são a parte útil:
- Contar linhas como eventos. Uma versão anterior encontrou um recorte dos dados que passava em todos os testes, com estatística t de 3,38 em 446 linhas. Agrupado em eventos independentes de 4 horas, eram 14 eventos e uma estatística t de 0,29: um cara ou coroa. Trinta moedas no mesmo momento tinham sido contadas trinta vezes.
- Ler a melhor célula. A linha-resumo da ferramenta de pontuação escolheu a melhor entre muitas células, +0,51% por operação, e chamou isso de habilidade. Essa célula tinha 19 linhas de 15 eventos, com estatística t de 0,42.
- Dividir até aparecer alguma coisa. Uma de dezesseis células parecia prova de que os sinais de compra do mecanismo eram prejudiciais. Com o erro padrão levado em conta, era ruído.
O que outros estudos encontraram
Benchmarks acadêmicos apontam na mesma direção: em testes longos, as vantagens de trading dos modelos de linguagem diminuem bastante, a maioria dos modelos fica atrás de comprar e manter (buy-and-hold), e a posição de um modelo nos rankings de chatbots diz pouco sobre como ele opera (FINSABER, StockBench, LiveTradeBench).
Nossa resposta para este modelo, este horizonte e este mercado é não. Um modelo maior poderia se sair melhor; uma vantagem maior ainda teria de sobreviver a custos que já eram maiores do que o melhor sinal que tivemos. O que o registro público mostra sobre bots de IA.