MIT Technology Review AI informou que a realização de uma tarefa de desenvolvimento com um sistema de IA envolve planejamento, geração de código, execução de testes e correções repetidas.
De acordo com o synopse da publicação, uma dessas tarefas consome em 10–50 vezes mais tokens do que uma consulta típica de chat.
Isso desloca o foco da avaliação: não é apenas o volume de processamento que importa, mas qual é o resultado concluído que o sistema ajuda a obter. No material disponível não há dados sobre a qualidade do código, o custo ou ferramentas específicas.
comentário editorial
Por que importa
Provável consequência — a avaliação de sistemas de IA será gradualmente deslocada da contagem de tokens para medir resultados concluídos e o número de iterações. O sinal mais próximo observado — surgimento de comparações com código pronto, testes e recursos gastos. Uma incerteza substancial permanece: a fonte não revela o método de cálculo, o conjunto de tarefas e os indicadores de qualidade.