Agentes que usam o computador: o que o benchmark OSWorld 2.0 mostra

Os agentes de IA já conseguem abrir aplicativos, ler e-mails, consultar documentos, preencher formulários e tomar algumas decisões. O problema é que fazer partes de um processo não é o mesmo que entregar o processo inteiro.

O OSWorld 2.0, nome também divulgado como OSWorld 2, foi criado para medir essa diferença. Em vez de pedir uma ação curta, o benchmark reúne fluxos profissionais que atravessam aplicações, arquivos, mensagens, regras e decisões ao longo de centenas de passos.

A principal conclusão não é que os agentes “falham em 79,4% de tudo”, como sugeria a leitura apressada dos 20,6% do paper de lançamento, nem que falham em 55,7%, como sugeriria a do topo do ranking de outubro. É que a distância entre progresso parcial e conclusão confiável ainda é grande, e essa distância precisa orientar arquitetura, custo, segurança e supervisão humana.

Resumo do artigo

• O OSWorld 2 reúne 108 tarefas profissionais longas: a mediana exige cerca de 1,6 hora de trabalho humano e os agentes executam, em média, 318 ações por tentativa.
• No lançamento, o melhor resultado do paper combinava 54,8% de pontuação parcial com 20,6% de conclusão binária. No leaderboard atualizado em 15/10/2026, o topo da categoria de modelo sozinho, no conjunto completo, passou a 77,67% e 44,33% (Claude Opus 5, esforço max, versão 2.1), e a distância entre as duas colunas continua grande.
• A Anthropic reporta 70,57% de Pass@1 para o Claude Opus 5 em protocolo próprio; a própria Anthropic publicou depois números para Claude Fable 5.1, Opus 5.5 e Fable 5.2, quase todos em pontuação parcial (só a página do Fable 5.1 traz também a métrica estrita, com 41,7% para ele), e nenhum dos três tinha entrada no ranking oficial até 11/11/2026.
• Na faixa de tarefas mais longas, entre 163 e 360 minutos, todos os modelos exibidos no paper ficaram em 0% de conclusão binária.

Resumo executivo

Esses números respondem a perguntas diferentes. Misturá-los em um único ranking cria uma conclusão atraente, mas metodologicamente incorreta.

O que é o OSWorld 2.0

O OSWorld 2 avalia agentes que controlam um computador em ambientes com navegador, e-mail, planilhas, documentos, sistemas empresariais, arquivos e aplicações multimídia. O paper oficial descreve três princípios centrais:

• fluxos autênticos: as tarefas são inspiradas em trabalho profissional real;
• horizonte longo: o agente precisa sustentar contexto, estado e restrições por centenas de ações;
• avaliação verificável: cada tarefa possui checkpoints objetivos que permitem medir tanto o resultado final quanto o progresso intermediário.

Quase 70% das tarefas exigem mais de uma hora de trabalho humano. Os agentes usam, em média, 318 chamadas de ferramenta, e o protocolo principal permite até 500 passos. Isso muda a natureza do teste: o desafio deixa de ser “encontrar o botão certo” e passa a ser “preservar a intenção do usuário durante um processo inteiro”.

OSWorld, OSWorld-Verified e OSWorld 2.0: não confunda

Os três nomes pertencem à mesma família, mas não representam a mesma dificuldade.

O próprio paper usa um contraste importante: Claude Opus 4.8 chega a 83,5% no OSWorld-Verified, mas a 20,6% de conclusão binária no OSWorld 2. Não há contradição. A segunda avaliação mede um horizonte muito mais longo, no qual pequenos desvios se acumulam.

Como ler conclusão binária, progresso parcial e Pass@1

Conclusão binária

A métrica binária responde à pergunta mais exigente: o agente concluiu todo o trabalho?

Se uma prestação de contas exige cinco despesas corretas, anexos, centro de custo, aprovação e envio final, deixar uma etapa crítica errada resulta em zero na conclusão binária, mesmo que boa parte do processo tenha sido feita.

Essa é a métrica mais próxima de uma entrega empresarial utilizável, embora ainda não inclua todos os riscos de produção.

Pontuação parcial

O OSWorld 2 divide cada tarefa em checkpoints objetivos, em média 27,25 checkpoints por tarefa. A pontuação parcial mede quantos desses requisitos foram cumpridos.

OSWorld 2 · tarefa média318 ações, 1,6 hora de execução

20,6% conclusão binária 54,8% pontuação parcial

ação 1ação 159ação 318

Pontuação parcial alta mostra que o agente avançou e pode ter economizado trabalho. Ela não autoriza dizer que o processo foi concluído. Em produção, esse progresso pode ser útil quando um humano revisa e finaliza; pode ser perigoso quando a automação publica, paga, apaga ou envia algo sem validação.

Pass@1

Pass@1 normalmente representa a chance de sucesso em uma tentativa, sob um protocolo específico. No System Card do Claude Opus 5, a Anthropic descreve o resultado como taxa de sucesso na primeira tentativa, calculada como média de cinco execuções.

O nome da métrica, o ambiente, a resolução, o limite de passos, o avaliador e o sistema que cerca o modelo precisam acompanhar o número. Por isso, 70,57% de Pass@1 não deve ser renomeado como 70,57% de pontuação parcial e também não deve ser colocado na mesma coluna dos 20,6% binários sem uma reprodução comparável.

Resultados oficiais do paper e do leaderboard

Esta é a comparação publicada para as três melhores configurações em lote do paper, na primeira versão das tarefas (v2026.06.24). O custo representa a média aproximada por tarefa avaliada, não o custo de uma conclusão garantida.

Fonte: paper do OSWorld 2 e leaderboard mantido pelo projeto. A linha destacada é a melhor conclusão binária publicada no paper.

O valor mais útil é a diferença entre as duas colunas de desempenho. No Opus 4.8, por exemplo, 54,8% de progresso parcial coexistem com 20,6% de conclusão integral. O modelo frequentemente faz partes corretas, mas ainda perde detalhes, deixa requisitos para trás ou não verifica o estado final.

O que mudou no leaderboard até outubro de 2026

Depois do paper, os autores publicaram duas novas versões das tarefas: a de 8 de agosto de 2026, com código, arquivos e sites simulados atualizados, e a 2.1, de 16 de setembro, descrita no repositório oficial como correção de bugs com agentes e fluxos de avaliação atualizados. O leaderboard passou a mostrar a versão de cada linha e um subconjunto offline de 82 tarefas que rodam sem internet.

Na leitura de 11/11/2026 (dados com última atualização em 15/10/2026), estas são as principais linhas com esforço max de cada versão das tarefas na categoria principal, com o modelo operando sozinho, 500 passos e conjunto completo de 108 tarefas:

Fonte: leaderboard oficial do OSWorld 2, lido em 11/11/2026. Na versão de agosto, o projeto informa média de 7 execuções para o Claude Opus 5 e de 2 para o GPT-5.6 Sol. Linhas de versões diferentes usam arquivos de tarefa diferentes e não formam um ranking único. O leaderboard também traz o Claude Opus 5 em outros níveis de esforço; na versão 2.1, o nível high marca 36,89% de conclusão binária, acima dos 33,33% do xhigh, embora fique abaixo dele na parcial (68,92% contra 73,11%); mais esforço não garante mais tarefas concluídas. A linha do MuseSpark 1.3 vem marcada como conjunto completo, mas a trajetória publicada pelo projeto cobre 106 tarefas.

Dois pontos merecem atenção. Primeiro, a conclusão binária mais que dobrou desde o paper, mas parte do ganho vem de tarefas corrigidas, não só de modelos melhores; por isso o próprio leaderboard separa as versões. Segundo, mesmo no topo, mais da metade das tarefas ainda termina sem entrega completa, e a distância entre parcial e binária continua acima de 30 pontos.

Na aba que inclui sistemas de agente, uma combinação de framework com o Claude Opus 4.8 (Darwinx, da Salesforce AI Research, limite de 450 passos) aparece com 44,44% de conclusão binária e 75,97% de pontuação parcial na versão 2.1. A própria linha registra duas diferenças: a tarefa conta como concluída a partir de 99% dos checkpoints, e não pelo critério estrito da categoria principal, e o raciocínio estendido do modelo ficou desligado. Por isso esse número não se compara diretamente com os 44,33% do Claude Opus 5 sozinho. O que ele mostra é que um framework bem desenhado consegue tirar de um modelo da geração anterior um resultado na mesma faixa, ou seja, o sistema em volta do modelo também pesa no resultado.

Atualização: como interpretar os 70,57% do Claude Opus 5

A página de lançamento do Claude Opus 5 afirma que o modelo supera os demais no OSWorld 2 considerando desempenho e custo. O documento técnico oferece o contexto necessário para interpretar a afirmação.

No System Card do Claude Opus 5, a Anthropic informa:

• execução nas configurações padrão dos modelos;
• resolução de 1080p;
• limite de 500 ações por tarefa;
• uso de Claude Opus 4.8 como avaliador por modelo quando necessário;
• resultado agregado em cinco execuções;
• métrica apresentada como Pass@1 accuracy e taxa de sucesso na primeira tentativa.

O resultado é relevante e indica avanço. Mas há três limites editoriais importantes:

1. o gráfico é uma avaliação publicada pela própria Anthropic, não uma entrada do leaderboard independente mantido pelos autores do OSWorld 2;
2. a métrica está identificada como Pass@1, não como pontuação parcial;
3. quando esta seção foi escrita, em agosto de 2026, o Opus 5 ainda não aparecia no ranking público oficial. Ele entrou depois: no leaderboard atualizado em 15/10/2026, seu melhor resultado no conjunto completo é 44,33% de conclusão binária e 77,67% de pontuação parcial (esforço max, versão 2.1).

Portanto, a formulação responsável é: a Anthropic reporta 70,57% de Pass@1 para o Claude Opus 5 em seu protocolo do OSWorld 2. A formulação “o Opus 5 conclui sete de cada dez tarefas do ranking oficial” vai além da evidência disponível, e a medição independente confirmou isso: no ranking dos autores, o modelo conclui por inteiro menos da metade das tarefas.

Atualização de novembro: os números que os fabricantes publicaram depois

Depois do Opus 5, a Anthropic publicou linhas de OSWorld 2 nos anúncios de três modelos novos. Nenhum deles aparecia no leaderboard oficial na leitura de 11/11/2026, e cada tabela usa uma versão diferente do conjunto.

Todos os valores são reportados pela Anthropic. Segundo as páginas do Fable 5.1 e do Fable 5.2, os modelos lançados nelas (e o Opus 5.5, na tabela do Fable 5.2) foram avaliados com as salvaguardas de produção ligadas. Na página do Fable 5.1, a empresa avisa que os números da versão de agosto não são diretamente comparáveis aos resultados publicados antes.

Três cuidados para ler essa tabela:

• quase tudo é pontuação parcial. Só a página do Fable 5.1 traz a métrica estrita, que é a que mede entrega completa; nela, o melhor modelo da Anthropic fica em 41,7%;
• o mesmo modelo muda de número conforme a versão e o subconjunto. O Fable 5.1 aparece com 77,9%, 80,7% e 83,5% em três publicações diferentes. Compare só linhas da mesma tabela;
• o GPT-6 Astra e o Gemini 4 Carbon aparecem na tabela de um concorrente. A página da Anthropic não detalha como esses dois números foram obtidos, e nenhum deles é leitura do leaderboard oficial.

Na régua independente, o melhor resultado foi de 54,8% de pontuação parcial e 20,6% de conclusão binária no paper para 77,67% e 44,33% no leaderboard de outubro, com troca de versão das tarefas no meio. Os números da Anthropic, mais altos, usam outro subconjunto e outro protocolo e não continuam essa série. Onde a conclusão integral é publicada, ela segue bem abaixo da parcial.

No comparativo de modelos de IA que mantemos, o OSWorld 2 entra com as duas métricas em linhas separadas, pontuação parcial e conclusão binária, e o placar divulgado pelo próprio fabricante nunca divide tabela com a medição independente.

Um fluxo completo: o reembolso no ExpenseFlow

Uma das trajetórias descritas no paper ajuda a entender por que o benchmark é difícil. O agente precisa preparar um relatório de despesas no sistema fictício ExpenseFlow, e a sequência abaixo mostra por que o percentual parcial fica alto enquanto a conclusão não vem.

1. Leitura das regras
   Consulta um tutorial e uma política em PDF

   Entende o formato exigido antes de tocar no sistema. É a parte que qualquer demonstração mostra bem.

2. Coleta
   Localiza recibos no e-mail e dados em um relatório anterior

   Recupera comprovantes, dados pessoais e o centro de custo espalhados por aplicações diferentes.

3. Reconciliação
   Confere transações no banco e cruza as referências

   Reconcilia datas, valores, categorias e códigos contábeis entre fontes que não conversam entre si.

4. Preenchimento
   Monta cinco linhas de despesa e anexa comprovantes

   Distribui valores, seleciona o aprovador e liga cada anexo à linha correspondente.

5. Ponto de quebra
   Aparecem informações novas e inconsistências

   É aqui que o agente deveria interromper e perguntar ao usuário. Quando ele escolhe uma interpretação em vez de pedir esclarecimento, tudo que vem depois opera sobre uma premissa errada.

6. Avaliação final 492 ações
   Relatório enviado, com pontuação parcial de 0,76

   Houve entrega visível, mas permaneceram discrepâncias em localização de diária e anexos. O sistema chegou longe e ainda assim precisaria de conferência antes de produzir efeito financeiro real.

Sequência reconstruída a partir da trajetória descrita no paper. Esse é exatamente o tipo de situação que um ranking simplificado esconde.

O desempenho desaba conforme o horizonte aumenta

O paper agrupa as tarefas por duração estimada do trabalho humano: de menos de 45 minutos até um intervalo entre 163 e 360 minutos. Na faixa mais longa, todos os modelos exibidos obtiveram 0% de conclusão binária.

Isso acontece porque o risco se acumula. Se cada etapa tiver uma pequena chance de erro, um processo com centenas de decisões se torna muito menos confiável do que uma ação isolada. Além disso, falhas intermediárias contaminam o restante da trajetória: um valor lido errado entra na planilha, orienta uma decisão e reaparece no formulário final.

Para a empresa, a unidade de análise não deve ser “o modelo sabe clicar?”, mas:

• por quanto tempo ele preserva restrições;
• quantos estados precisa acompanhar;
• quantas aplicações e fontes precisa reconciliar;
• em quais pontos consegue detectar e reparar o próprio erro;
• qual é o dano possível se concluir algo incorretamente.

Onde os agentes mais falham

Os desafios do conjunto se sobrepõem: uma mesma tarefa pode exigir raciocínio entre fontes, precisão visual e acompanhamento de vários itens.

Raciocínio entre múltiplas fontes42,6%

Precisão visual e espacial41,7%

Estado implícito39,8%

Acompanhamento de múltiplos itens39,8%

Instruções ou informações conflitantes36,1%

As trajetórias analisadas mostram padrões recorrentes:

• o agente entende a regra no início, mas deixa de aplicá-la dezenas de passos depois;
• encontra uma atualização no meio do processo e não propaga a informação;
• escolhe uma interpretação quando deveria pedir esclarecimento;
• produz um arquivo ou formulário, mas não verifica se o resultado corresponde ao pedido;
• altera a interface por um caminho técnico que ignora o estado esperado pelo usuário;
• corrige o sintoma de um erro sem restaurar a consistência do processo.

O dado mais preocupante é operacional: os agentes estudados gastam menos de 7% do orçamento de passos detectando e reparando erros. Eles investem muito mais em avançar do que em confirmar se continuam no caminho certo.

Do benchmark para uma arquitetura de produção

Um modelo mais capaz ajuda, mas não resolve sozinho um fluxo de alto risco. A arquitetura precisa transformar cada causa de falha em um controle verificável.

Em termos práticos, um agente empresarial precisa de pelo menos cinco camadas:

Modelo, para interpretar a tarefa e planejar os próximos passos

Ferramentas delimitadas, em vez de acesso irrestrito ao computador

Estado persistente, para registrar fatos, restrições e pendências

Verificação, preferencialmente separada de quem executa

Supervisão humana, proporcional ao custo do erro

Essa estrutura é mais importante do que trocar o modelo mantendo o mesmo fluxo frágil.

Quanto custa uma conclusão útil

O custo médio por tentativa não conta a história inteira. Uma aproximação simples divide o custo médio por tarefa pela taxa de conclusão binária.

Esse cálculo é derivado, não uma métrica oficial do paper. Ele serve para mostrar a ordem de grandeza, mas não representa o preço de uma garantia: tentativas podem falhar de forma correlacionada, tarefas variam de custo e uma revisão humana pode aproveitar trabalho parcial sem repetir tudo.

O cálculo empresarial completo deveria incluir:

• tokens e infraestrutura;
• execução de ferramentas e ambientes isolados;
• repetição de tentativas;
• tempo de revisão humana;
• investigação e correção de erros;
• impacto de uma ação incorreta;
• economia obtida quando o progresso parcial é aproveitável.

O sistema ao redor do modelo importa

Um benchmark de computer use avalia um sistema, não apenas um modelo abstrato. Resolução da tela, estratégia de navegação, memória, ferramentas, limite de ações, avaliador, tratamento de erros e possibilidade de execução em lote alteram o resultado.

Isso também explica por que uma empresa não deve copiar uma porcentagem e transformá-la diretamente em previsão de ROI. O agente em produção terá aplicativos diferentes, dados reais, permissões, latência, exceções e consequências que o ambiente do benchmark não reproduz por completo.

E os agentes locais?

A H Company é um exemplo de fornecedor de modelos abertos para agentes de computador. Quando este artigo saiu, a referência era a família Holo 3.1, com variantes de 0,8B, 4B, 9B e 35B-A3B e opções para execução local em Windows e macOS. Em 28/09/2026 a empresa lançou o Holo4, em duas versões: um modelo denso de 27B e um 35B-A3B (35B de parâmetros no total, 3B ativos), este com pesos abertos sob Apache 2.0. Os pesos saem em formatos como FP8 e GGUF de 4 bits, o que facilita rodar na própria máquina. Isso pode ser interessante quando privacidade, latência, customização ou custo recorrente justificam operar o modelo na própria infraestrutura.

Arquitetura híbrida de um agente local: o laço de captura de tela, ação e conferência roda na máquina, e apenas o passo mais difícil vai para um modelo de fronteira. Os modelos de nuvem citados são opções de fronteira de custo menor em novembro de 2026 (a OpenAI descreve o GPT-6.1 Sol como próximo do Astra a custo menor); para a tarefa mais pesada, Anthropic e OpenAI oferecem ainda o Claude Fable 5.2 e o GPT-6 Astra, mais caros.

Mas há uma ressalva essencial: os resultados de OSWorld 2 divulgados pela H Company foram medidos por ela mesma, no próprio harness e em uma única execução (61,7% de pontuação parcial e 41,5% de sucesso para o Holo4 27B), e não constituem uma entrada do leaderboard oficial. “Rodar local” também não significa “operar com segurança” por padrão. Ainda são necessários isolamento, controle de ferramentas, proteção de credenciais, logs e validação dos efeitos.

Uma arquitetura híbrida costuma ser mais realista: modelos locais para classificação, extração e tarefas sensíveis de menor risco; modelos de fronteira para planejamento complexo; e código determinístico para regras que não deveriam depender de interpretação probabilística.

Taxa de sucesso não é segurança

O OSWorld 2 inclui verificações de efeitos colaterais graves que podem não aparecer na pontuação visível da tarefa. Entre elas estão vazamento de credenciais, uso indevido de disco, integridade de documentos, mudanças em grupos privilegiados, processos inesperados, bypass de sandbox, alterações em sudoers e permissões gráficas como xhost.

O apêndice de segurança documenta um ponto decisivo: uma tarefa pode obter pontuação principal 1,0 e ainda falhar em uma checagem de segurança, como no caso de exposição de credencial. Ou seja, concluir a interface não basta.

Antes de permitir ações reais, adote:

• Credenciais temporárias e de privilégio mínimo
• Ambientes isolados por tarefa
• Bloqueio de leitura e envio de segredos
• Confirmação antes de pagar, publicar, excluir ou conceder acesso
• Registro de cada ação e de sua justificativa
• Detector de mudanças inesperadas no sistema
• Revisão posterior do estado, não apenas da mensagem final do agente

Para ameaças específicas, veja também como proteger chatbots e agentes contra prompt injection.

O que o benchmark não prova

Mesmo uma pontuação alta e reproduzida não demonstraria, sozinha, que:

• o agente pode operar sem supervisão em qualquer empresa;
• o mesmo desempenho será mantido em sistemas, políticas e dados diferentes;
• a execução é segura, privada ou compatível com a LGPD;
• uma segunda tentativa falhará de forma independente da primeira;
• a automação terá ROI positivo depois de revisão e correção;
• um modelo sozinho substituirá ferramentas, regras e integrações determinísticas;
• resultados publicados por organizações diferentes são comparáveis sem alinhar o protocolo.

Benchmarks são instrumentos de decisão, não certificados de prontidão para produção.

Como decidir onde usar um agente na empresa

Onde colocar um agente hoje: quebre o fluxo longo em etapas curtas com conferência e comece pelo quadrante de menor risco.

Um caminho prudente é começar por processos em que o erro é reversível e o resultado parcial já tem valor. Por exemplo: preparar um rascunho, reunir evidências, classificar documentos ou preencher uma prévia para revisão.

Use este roteiro:

1. Mapeie a tarefa completa, incluindo exceções e aprovações.
2. Defina o que significa concluído, com critérios verificáveis.
3. Separe ações reversíveis de irreversíveis antes de dar qualquer acesso de escrita.
4. Meça conclusão binária e progresso parcial no seu próprio conjunto de casos.
5. Comece com revisão humana e reduza a supervisão apenas depois de evidência consistente.

Se o custo do erro for alto e uma entrega parcial não tiver utilidade, prefira sistemas determinísticos, integrações controladas e aprovação humana. Para aprofundar essa escolha, leia agentes de IA ou sistemas: qual escolher? e orquestração de agentes com governança.

Perguntas frequentes

Leia também

• Agentes de IA ou sistemas tradicionais: qual escolher na empresa
• Orquestrar agentes de IA: quando usar multi-agents e como governar
• Prompt injection: proteger chatbots e agentes sem travar o produto

Conclusão

O OSWorld 2 não mostra que agentes de computador são inúteis. Ele mostra algo mais útil: eles já produzem progresso relevante, mas ainda perdem confiabilidade quando o trabalho se alonga, acumula estado e exige verificação.

Os 20,6% binários e 54,8% parciais do melhor resultado do paper revelaram essa lacuna, e o leaderboard de outubro de 2026 mostra que ela diminuiu sem fechar: 44,33% de conclusão binária contra 77,67% de pontuação parcial no topo da categoria de modelo sozinho, no conjunto completo. Os 70,57% de Pass@1 do Claude Opus 5 e os 89,3% de pontuação parcial que a Anthropic reporta para o Claude Fable 5.2 ficam fora dessa série: vêm de protocolo e subconjunto próprios do fabricante e só valem vinculados à fonte que os produziu.

Para empresas, a pergunta certa não é “qual modelo ganhou?”. É: qual combinação de modelo, ferramentas, estado, validação e supervisão consegue entregar este processo com custo e risco aceitáveis?

Fontes e histórico de atualização

Fontes primárias:

• OSWorld 2: site e leaderboard oficial
• OSWorld 2.0: A Benchmark for Long-Horizon Computer-Use Agents: paper
• Repositório oficial do OSWorld 2
• Repositório oficial do OSWorld
• OSWorld-Verified: anúncio do projeto
• Claude Opus 5: anúncio da Anthropic
• Claude Opus 5 System Card
• Holo 3.1: página oficial da H Company
• Holo4: anúncio da H Company
• Claude Fable 5.1: anúncio da Anthropic
• Claude Opus 5.5: anúncio da Anthropic
• Claude Fable 5.2: anúncio da Anthropic

Histórico:

• 04/08/2026: artigo reestruturado com separação entre conclusão binária, pontuação parcial e Pass@1; inclusão do protocolo do Claude Opus 5, custos derivados, segurança, limitações, FAQ e fontes primárias.
• 11/11/2026: inclusão das novas versões das tarefas (agosto e 2.1) e dos resultados do leaderboard oficial atualizado em 15/10/2026, com o Claude Opus 5 no topo da categoria de modelo sozinho, conjunto completo (44,33% binária); números reportados pela Anthropic para Claude Fable 5.1, Opus 5.5 e Fable 5.2; Holo4 no lugar do Holo 3.1 como exemplo de agente local; arquitetura híbrida atualizada para Claude Opus 5.5 e GPT-6.1 Sol.