Índice do artigofaltam 5 min de leitura
O robots.txt do Mercado Livre tem uma linha que agrupa GPTBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot e Amazonbot, e logo abaixo dela, Disallow: /. É o pedido de bloqueio total a esses robôs. Quando passamos o site pelo scanner de prontidão para agentes da Cloudflare, nesta sexta, 2 de outubro, o item "regras para robôs de IA" voltou aprovado.
É essa régua que está por trás do número da semana. Segundo o estudo State of Crawl 2027, da agência de SEO Conversion, lançado em webinar no dia 30 de setembro e divulgado pela Convergência Digital em 2 de outubro, só 11 dos 1.955 sites mais acessados do Brasil, 0,56%, estão preparados para ser lidos e usados por agentes de IA. O mesmo levantamento diz que 1.670 deles, 85,42%, cumprem o SEO técnico. A mediana ficou em 90 pontos no técnico e em 25 no agêntico, numa escala de 0 a 100 em que a Conversion considera 70 o mínimo. O método citado combina o teste Is It Agent Ready, da Cloudflare, com o PageSpeed Insights, do Google. Não encontramos o relatório completo publicado, e como a escala de 0 a 100 se traduz nos níveis da Cloudflare não foi divulgado.
Rodamos a mesma régua em 25 sites brasileiros, e 10 nem deixaram o scanner entrar
Escolhemos 25 endereços conhecidos de banco, varejo, marketplace, telecom, mídia, governo e serviço, mais o nosso, o x-apps.com.br. É uma amostra de conveniência, não a lista da Conversion, e não serve para dizer nada sobre "o Brasil". Serve para ver o que a régua faz com sites que o leitor conhece.
Dez dos 25 não foram lidos. Oito devolveram 403 ao scanner, com páginas de bloqueio de firewall de aplicação: Itaú, Banco do Brasil, Casas Bahia, iFood, Magazine Luiza, Natura, OLX e Vivo. O Boticário devolveu erro 520 e a Caixa entrou em laço de redirecionamento. Pedimos o robots.txt dos mesmos endereços com um curl comum, identificado como navegador, e sete dos oito repetiram o 403.
Os 15 que responderam ficaram nos dois primeiros degraus. Quatro, Amazon, Mercado Livre, Shopee e gov.br, ficaram no nível 0, todos pelo mesmo motivo: o scanner não achou arquivo em /sitemap.xml. O gov.br declara o sitemap dele no robots.txt, em /sitemap.xml.gz, e mesmo assim reprovou. Os outros 11 ficaram no nível 1, chamado de presença básica: Bradesco, Nubank, Globo, Petrobras, Americanas, Claro, Correios, Localiza, Renner, UOL e o x-apps.com.br. Nenhum chegou ao nível 2.
O nosso site está no mesmo lugar dos grandes. Para subir um degrau, o scanner pede uma coisa só: declarar no robots.txt, com as diretivas de Content Signals, se o conteúdo pode ser usado para busca, para resposta de IA e para treino.
Passar no item de robôs de IA não quer dizer estar aberto a eles
O Mercado Livre não é exceção. A Amazon Brasil bloqueia, por nome, sete dos robôs de IA que conferimos, do GPTBot ao Google-Extended. O UOL bloqueia ClaudeBot, Claude-User, PerplexityBot e Google-Extended. A Americanas bloqueia GPTBot e Google-Extended. Os quatro passaram no item. O Nubank, que não cita robô de IA nenhum, também passou, porque a regra geral do arquivo vale para eles.
O item verifica se existe uma regra, não o que ela diz. E a regra não tem o mesmo peso para todos os robôs. A OpenAI separa três: o GPTBot coleta para treino, o OAI-SearchBot indexa para a busca do ChatGPT, e o ChatGPT-User age quando um usuário pede. Sobre este último, a documentação da própria OpenAI avisa que as regras do robots.txt podem não se aplicar, porque a visita parte de uma pessoa. A Anthropic tem a mesma divisão, entre ClaudeBot, Claude-SearchBot e Claude-User, e diz que bloquear o Claude-User reduz a presença do site nas respostas a quem pergunta.
Na prática, há três posições diferentes dentro do mesmo "aprovado" e do mesmo "reprovado": o site que barra qualquer automação no firewall, o que pede no robots.txt para não ser lido, e o que nunca escreveu nada.
O que a régua cobra, separado entre padrão, opcional e rascunho
A Cloudflare publicou o score em 17 de abril, com quatro dimensões pontuadas: descoberta, conteúdo, controle de acesso de robôs e capacidades. Os itens de comércio agêntico são verificados e não contam. Separados pelo que pedem de quem cuida do site, eles ficam assim:
| Grupo | Itens da régua | Para quem |
|---|---|---|
| Padrão estabelecido | robots.txt (RFC 9309), sitemap, cabeçalhos Link (RFC 8288) | Qualquer site. É configuração, não projeto |
| Só faz sentido com API, login ou loja | catálogo de APIs (RFC 9727), descoberta de OAuth (RFC 8414 e RFC 9728), protocolos de comércio agêntico, que não pontuam | Quem já expõe API ou checkout e quer que um agente os use |
| Proposta ou rascunho | Content Signals, Markdown sob demanda, MCP Server Card, Web Bot Auth, Agent Skills, WebMCP | Acompanhar. Algumas podem mudar ou não pegar |
No terceiro grupo estão as propostas mais novas, e quase ninguém as cumpre. O MCP Server Card está em rascunho, segundo a própria Cloudflare. O Web Bot Auth é rascunho na IETF. Na medição da Cloudflare em abril, 3,9% dos sites respondiam em Markdown, 4% declaravam Content Signals, e menos de 15 sites de todo o conjunto tinham MCP Server Card e catálogo de APIs.
Quem mede também propõe o remédio
Dois itens da régua vêm da mesma empresa que a escreveu. A Content Signals Policy, exigida para chegar ao nível 2, foi lançada pela Cloudflare em setembro de 2025 e está em rascunho na IETF. O Markdown for Agents, que converte a página em Markdown quando o agente pede, é um recurso da rede da Cloudflare desde 12 de fevereiro de 2026. Isso não torna os itens ruins. Torna a régua menos neutra do que um percentual de manchete faz parecer.
Do lado do estudo, o número chega por uma agência de SEO, num webinar próprio, sem o relatório completo publicado. Nossa leitura é que o 0,56% mede a distância até uma especificação nova e em parte proprietária, e não um atraso dos sites brasileiros em relação a um padrão que o resto do mundo já cumpre.
Para quem fechar o site a agente é a decisão certa
Barrar o scanner na porta não é atraso: é automação sendo contida antes de chegar ao site, e não sabemos o motivo de cada um dos oito. Banco com área logada, varejo com preço e estoque disputados por robôs de concorrentes e mídia que vive do próprio conteúdo têm razões conhecidas para fazer isso, e um agente que lê o site sem se identificar é o tipo de visita que esse firewall costuma conter. Para essas empresas, subir no score da Cloudflare pode significar abrir uma porta que a área de segurança fechou de propósito.
O contrário vale para quem vive de ser encontrado. Site institucional de empresa B2B, catálogo de serviço, loja pequena que depende de aparecer quando alguém pergunta ao ChatGPT "quem faz isso em São Paulo": aqui, bloquear o OAI-SearchBot tira o site da busca do ChatGPT, bloquear o Claude-SearchBot reduz a presença nas respostas do Claude, e nunca ter decidido nada deixa a escolha com o padrão do servidor.
O que nenhum dos dois casos justifica é contratar a adequação aos itens do terceiro grupo para subir de nível. Eles podem mudar, e o score não diz se algum agente vai usar o que você publicar.
O que decidir nesta semana
Abra o robots.txt do site da empresa, em /robots.txt, e responda três perguntas. Ele cita GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User e PerplexityBot? O que diz para cada um? E alguém na empresa decidiu isso, ou veio do modelo do servidor?
Se a resposta da última for "ninguém", a decisão desta semana é escrever a política: quais robôs de busca de IA podem ler o site, se o conteúdo pode servir para treino, e quem responde por isso. Com ela escrita, os itens do primeiro grupo, sitemap e robots.txt coerentes entre si, são um ajuste de configuração. No x-apps.com.br, o próximo passo indicado pelo scanner é justamente a linha de Content Signals.
A segunda coisa é medir antes de abrir ou fechar. O log do servidor ou do CDN registra o user agent de cada visita.
Quantas visitas de GPTBot, OAI-SearchBot, ChatGPT-User e ClaudeBot o seu site recebeu no último mês, e em quais páginas?
Fontes e método
- Conversion, State of Crawl 2027, lançado em webinar em 30/09/2026. Os números (1.955 domínios, 11 prontos, 1.670 com SEO técnico, medianas de 90 e 25, corte de 70) são do estudo, conhecidos pela reportagem da Convergência Digital de 02/10/2026. Não encontramos o relatório completo publicado.
- Cloudflare, lançamento do score de prontidão para agentes, 17/04/2026: dimensões, itens que pontuam e não pontuam, adoção medida em abril (Markdown 3,9%, Content Signals 4%, menos de 15 sites com MCP Server Card e catálogo de APIs) e status de rascunho. Markdown for Agents, 12/02/2026. Content Signals Policy, comunicado de setembro de 2025.
- OpenAI, página de robôs, consultada em 02/10/2026, e Anthropic, central de ajuda, 07/04/2026: função de cada robô e efeito do bloqueio.
- Medição própria, 02/10/2026, entre 17h46 e 17h48: os 25 domínios passados pela API pública do isitagentready.com, e o robots.txt de cada um baixado e lido no mesmo dia. Níveis e itens valem para o scanner em outubro de 2026; a Cloudflare acrescenta itens com o tempo.
