Índice do artigofaltam 6 min de leitura
Mesmo modelo. Mesmas 100 tarefas. Mesmos documentos, mesmos nomes de arquivo pedidos, mesmo avaliador. A taxa de aprovação foi de 3,5% a 80,1%.
Quando um projeto de IA entrega menos do que prometia, a conversa vai para o mesmo lugar: qual modelo estamos usando, e quanto custaria subir para o melhor. É a pergunta mais fácil de fazer, é a única resposta que se compra pronta, e um experimento publicado em 2026 sugere que ela é a alavanca menor.
Antes de continuar, vale desarmar a explicação preguiçosa. Isso não é sobre alguém saber escrever prompt melhor que outro. O experimento abaixo fixou o modelo, as tarefas, os documentos e o avaliador, e ainda assim produziu mais de vinte vezes de diferença. O que variou foi o código em volta do modelo, e o maior ganho isolado da otimização inteira não teve nada a ver com inteligência.
Resumo do artigo
- Com o modelo congelado e as tarefas fixas, cinco arcabouços diferentes produziram de 3,5% a 80,1% de critérios aprovados.
- O maior ganho isolado veio de manuseio de arquivo: a análise estava certa e era salva com o nome errado, o que o avaliador conta como falha.
- Não existe melhor arcabouço, existe melhor par entre modelo e arcabouço. Em 250 tarefas de programação, o campeão de um modelo não era o campeão do outro, e o custo por tarefa variou cerca de 100 vezes.
- Mesmo o melhor arcabouço fechou apenas 5% das tarefas sem nenhum erro. Ele move muito o quanto se acerta, e pouco o quanto se termina.
O experimento: mesmo modelo, cinco sistemas em volta
O teste rodou sobre um conjunto de 100 tarefas jurídicas reservadas, com avaliação por critério: cada tarefa tem uma lista de exigências escritas por especialistas e o sistema é medido por quantas delas cumpre. Todo o resto foi mantido idêntico entre as rodadas, inclusive os documentos de entrada e o avaliador.
Fonte: "Don't Train the Model, Evolve the Harness", 2026, apresentado por Joel Niklaus em St. Gallen. Os arcabouços genéricos não incluíam os mecanismos descobertos pela busca.
Há um número dessa tabela que precisa aparecer junto, porque ele impede a leitura otimista demais: pelo critério mais duro, o de terminar a tarefa sem errar nenhum requisito, o arcabouço otimizado fez 5,0% e todos os outros fizeram 0,0%. O sistema em volta do modelo move muito o quanto se acerta e move pouco o quanto se termina.
O que isso destrava para quem aprova orçamento: existe uma faixa enorme de desempenho disponível antes de trocar de fornecedor, e ela custa engenharia em vez de licença. Uma diferença de mais de vinte vezes não costuma aparecer numa troca de licença, e apareceu aqui sem trocar nada.
O maior ganho não foi inteligência, foi salvar o arquivo com o nome certo
Esta é a parte contraintuitiva, e é a que mais muda o que fazer na segunda-feira. Quando os autores analisaram de onde vieram os ganhos da otimização, o maior deles não foi raciocínio jurídico melhor. Foi manuseio de arquivo.
O modelo fazia a análise correta, e então salvava o resultado com o nome errado, ou jogava numa pasta temporária, ou terminava a execução sem gravar nada. Como o avaliador só considera o arquivo que está no lugar certo com o nome exato que foi pedido, um trabalho certo era contado como zero.
É o equivalente digital de resolver a questão inteira e entregar a prova em branco.
Vale registrar o outro resultado desse mesmo trabalho, porque ele fecha o argumento econômico: o sistema otimizado igualou um modelo de geração superior na métrica principal a cerca de um sétimo do custo por tarefa, sem alterar um único peso.
O que isso destrava: antes de discutir modelo, olhe as execuções que falharam e classifique o motivo. Se boa parte delas falhou por formato, caminho, campo ausente ou entrega fora do padrão, o problema não é capacidade, é encanamento. E encanamento se conserta com código, que é barato, inspecionável e seu.
O que é o arcabouço, sem jargão
Arcabouço é tudo o que não são os pesos do modelo. É a camada que decide o que ele vê, o que ele pode fazer e quando ele para.
- Instruções fixasO que o sistema diz ao modelo antes de qualquer pedido do usuário.
- FerramentasO que ele pode chamar: buscar no acervo, abrir documento, gravar arquivo, consultar um sistema.
- Laço de execuçãoQuantas tentativas ele tem, o que ele faz quando uma falha e quando desiste.
- VerificaçõesO que é conferido antes de a resposta sair, e o que acontece quando a conferência reprova.
- Contrato de entregaFormato, nome, lugar e estrutura do que precisa ser produzido.
Nenhum desses itens exige GPU, nenhum exige treinar nada, e todos são legíveis por uma pessoa.
É a parte do sistema que a sua empresa controla inteira, e a única que sobrevive quando o modelo de base for substituído no mês que vem.
Não existe melhor arcabouço, existe melhor par
A tentação seguinte é procurar qual arcabouço é o melhor e adotar aquele. Um estudo com dez arcabouços, dois modelos congelados e 250 tarefas de programação mostra por que isso não funciona.
O primeiro modelo variou de 23 a 52 na taxa de acerto, dependendo apenas de qual arcabouço o hospedava. O segundo, bem menor, variou de 15 a 36.
Só que o arcabouço que levou o primeiro ao topo não era o que levava o segundo, e o custo por tarefa entre as combinações variou de cerca de US$ 0,20 a cerca de US$ 20.
Isso também explica um resultado que parece absurdo à primeira vista. Numa medição de trabalho jurídico, um agente de programação popular rodando um modelo de ponta marcou 24,6 de aprovação por critério. O mesmo modelo, num arcabouço simples, marcou 43,8. O agente pronto não era pior de forma abstrata: ele carregava premissas de outra tarefa, e essas premissas atrapalhavam nessa.
O pós-treino move o resultado, e ficou barato
A terceira alavanca é ajustar o próprio modelo com dados da sua operação. Na mesma medição jurídica, um modelo aberto percorreu três estágios:
| Configuração | Aprovação por critério |
|---|---|
| Modelo aberto, arcabouço próprio e pós-treino | 60,1 |
| Modelo aberto com arcabouço próprio | 46,1 |
| Modelo de ponta em arcabouço simples | 43,8 |
| Modelo de ponta em agente de programação | 24,6 |
| Modelo aberto em arcabouço simples | 15,1 |
Fonte: Harvey, atualização sobre esforço de pós-treino, 20 de agosto de 2026. Taxa de aprovação por critério, não conclusão total de tarefa.
A primeira e a última linha são o mesmo modelo aberto. A distância entre 15,1 e 60,1 foi construída inteira fora dos pesos originais, primeiro com arcabouço e depois com ajuste. E o resultado final passou por cima de um modelo comercial de ponta.
A barreira de custo para fazer isso caiu de forma relevante. A palestra usa uma comparação que ela própria classifica como ilustrativa e não equivalente: cerca de 7 milhões de horas de GPU para treinar um modelo grande do zero, contra cerca de 7 horas de GPU para ajustar um modelo já pronto com dados próprios. São modelos de tamanhos diferentes e a comparação não é direta, mas a ordem de grandeza da diferença é o ponto.
Onde isso muda o orçamento do seu projeto
A leitura financeira das três alavancas inverte a ordem em que a maioria das empresas gasta.
Ordem comum
Começa pela licença- Sobe para o modelo mais caro
- Aumenta o esforço de raciocínio
- Reescreve prompts por tentativa
- Conclui que a tecnologia não está madura
Ordem que a evidência sugere
Começa pela medição- Classifica por que as execuções falharam
- Conserta entrega, formato e verificação
- Testa pares de modelo e arcabouço na sua tarefa
- Só então considera pós-treino ou modelo maior
Um detalhe importante para não trocar um erro por outro: isto não é um argumento contra escolher bem o modelo, e sim contra tratar a escolha do modelo como o projeto inteiro. A escolha do modelo continua importando, e existe uma decisão adjacente que também mexe muito na conta sem trocar de fornecedor, que é quanto o modelo pensa antes de responder, tratada em Como cortar a conta de IA pela metade sem trocar de modelo.
O que fazer com isso na prática
- Guarde as execuções que falharam e classifique o motivo antes de mudar qualquer coisa
- Separe falha de raciocínio de falha de entrega, porque as duas têm conserto diferente
- Escreva o contrato de entrega de forma explícita: formato, nome, lugar e campos obrigatórios
- Meça pares de modelo e arcabouço juntos, com custo por tarefa ao lado da pontuação
- Trate o arcabouço como ativo da empresa: ele sobrevive à troca do modelo de base
O último item é o que mais rende ao longo do tempo. Modelo de base vira commodity e é substituído a cada poucos meses. O sistema que sabe como a sua tarefa precisa ser executada, verificada e entregue continua valendo depois da troca, e foi construído com o conhecimento da sua operação.
Fontes e método
A base deste artigo é a palestra "Fifty Years of Legal AI", de Dr. Joel Niklaus, apresentada na AI & Legal Reasoning Conference da Universidade de St. Gallen em 28 de agosto de 2026, e os trabalhos que ela credita: "Don't Train the Model, Evolve the Harness" (2026), o artigo Meta-Harness de Lee et al., o estudo de otimização de arcabouço sobre um conjunto de 250 tarefas de programação publicado por Niklaus em 2026, e a atualização da Harvey sobre pós-treino de 20 de agosto de 2026.
A existência e os resultados centrais do experimento de arcabouço foram conferidos em fontes independentes na apuração de 1º de setembro de 2026, incluindo o material público dos autores e o código de referência do artigo. Todos os números aqui são de terceiros e nenhum é medição da X-Apps. Harvey, Anthropic, OpenAI e Hugging Face são empresas externas à X-Apps, citadas como objeto de análise e sem relação comercial conosco.
Seu projeto de IA entrega menos do que prometia?
Solicite um orçamento e comece pela medição de onde ele falha, não pela troca de modelo.
Perguntas frequentes
Costuma ser a alavanca menor. Num experimento com o modelo congelado e as tarefas fixas, só a troca do código em volta levou a aprovação de 3,5% para 80,1%. O modelo era exatamente o mesmo nos dois extremos.
É tudo o que não são os pesos do modelo: as instruções fixas, as ferramentas que ele pode chamar, o laço de tentativa e erro, as verificações antes de entregar e o formato do que sai. É código comum, legível e sob o seu controle.
Manuseio de arquivo. O modelo fazia a análise correta e salvava com o nome errado, em pasta temporária ou não salvava. Como o avaliador só considera o arquivo no lugar certo com o nome pedido, o trabalho certo era contado como falha.
Não. Num estudo com dez arcabouços e dois modelos congelados em 250 tarefas, o campeão de um modelo não era o campeão do outro, e o custo por tarefa variou de cerca de US$ 0,20 a US$ 20. O que existe é o melhor par entre modelo e arcabouço.
Nem sempre. Na medição de trabalho jurídico citada, um agente de programação com um modelo de ponta marcou 24,6 de aprovação por critério, contra 43,8 do mesmo modelo em arcabouço simples. O arcabouço carrega premissas da tarefa para a qual foi feito.
Por medir onde as tarefas falham. Boa parte das falhas de agente não é raciocínio, é entrega: formato errado, arquivo no lugar errado, campo faltando. Isso aparece em uma tarde de análise de execuções reais e custa código, não GPU.
