- MAX, XHIGH, HIGH, MEDIUM e LOW · nível de raciocínio
- Muitos modelos podem pensar mais antes de responder, do nível mais alto (MAX) ao mais baixo (LOW). Mostramos o melhor resultado publicado e o nível usado nele; sem rótulo, a fonte não informou o nível ou usou o padrão do modelo.
- Sinal = · empatados
- A diferença entre eles é menor que a margem de erro da medição, então nenhum pode ser chamado de melhor. Nas tabelas, o sinal marca quem cruza o intervalo publicado pela fonte para o líder da coluna.
- Letras de evidência
- Dizem quem produziu o número: F: reportado pelo fabricante · C: medido por concorrente · I: medição independente · H: preferência humana · A: agregador · X: medido pela X-Apps.
- não medido
- Nenhuma fonte lida publicou resultado deste modelo neste benchmark. Não equivale a zero: a célula fica sem número.
- Arena Agent, IPS (%) · Agentes
- Mede o ganho do modelo quando executa tarefas com ferramentas, comparado a uma referência fixa. Valor negativo quer dizer abaixo dessa referência. Cada estimativa sai com intervalo de confiança.
- Nota geral (Índice Epoch, ECI)
- Quão capaz é no conjunto? Nota que a Epoch AI calcula juntando vários testes independentes. Quanto maior, mais capaz o modelo no geral.
- Raciocínio (GPQA Diamond)
- Resolve perguntas difíceis de ciência? Prova com perguntas de nível de doutorado em biologia, física e química. Mostra a porcentagem de acertos.
- Programação (Arena WebDev)
- Programadores preferem o código dele? Pessoas comparam, sem saber qual é qual, o código que dois modelos escrevem e votam no melhor. Quanto maior a pontuação, mais vezes ele vence.
- Conversa (Arena Text)
- As pessoas preferem as respostas dele? Pessoas fazem a mesma pergunta a dois modelos anônimos e votam na melhor resposta. Quanto maior a pontuação, mais vezes ele vence.
- Imagens (Arena Vision)
- Entende bem imagens? Mesma votação às cegas da conversa, com perguntas sobre imagens.
- Quebra-cabeças (ARC-AGI-2)
- Resolve problemas que nunca viu? Quebra-cabeças visuais feitos para medir a capacidade de aprender uma regra nova a partir de poucos exemplos.
- Prova muito difícil (Humanity's Last Exam)
- Acerta questões no limite do conhecimento humano? Milhares de questões escritas por especialistas para serem difíceis até para os melhores modelos.
- Correção de código (SWE-bench Verified)
- Corrige problemas reais em projetos de software? Problemas reais de projetos de código aberto; conta quantos o modelo resolve sem ajuda.
- Tarefas no terminal (Terminal-Bench)
- Opera um computador pela linha de comando? Tarefas de engenharia executadas no terminal, do começo ao fim, sem intervenção humana.
- Pedaço de texto · token
- A unidade que os fabricantes cobram. Um milhão de tokens equivale a centenas de milhares de palavras.
- Preço para enviar texto · Entrada (input), US$ por milhão de tokens
- Quanto custa o texto que você manda ao modelo: pergunta, instruções e documentos.
- Preço da resposta · Saída (output), US$ por milhão de tokens
- Quanto custa o texto que o modelo escreve de volta. Costuma ser mais caro que o envio.
- Preço médio de uso · Preço combinado 3:1 (três partes de entrada para uma de saída)
- Uma média que pesa o envio três vezes mais que a resposta, que é a proporção comum de uso.
- Dólar oficial do dia · PTAX de venda do Banco Central
- Os valores em reais usam a cotação oficial que o Banco Central publica todo dia útil, sem IOF nem spread do banco.
- Quanto texto lê de uma vez · Janela de contexto (tokens)
- O tamanho máximo de conversa e documentos que o modelo consegue considerar numa única pergunta.
- Código aberto · Pesos abertos
- O fabricante publica o modelo para baixar e rodar em servidor próprio. A licença diz o que é permitido.