robots.txt para IAs: o arquivo que decide quem lê o seu site
O robots.txt é o primeiro lugar que ChatGPT, Claude, Perplexity e o Gemini olham antes de ler qualquer página sua. Se ele bloqueia esses robôs, ou libera, define em uma linha se a sua empresa pode ou não aparecer nas respostas das IAs.
O que o robots.txt faz?
É um arquivo de texto simples, publicado na raiz do site, que diz a cada robô o que ele pode ler. O Googlebot consulta esse arquivo há mais de vinte anos. Os robôs de IA entraram na lista nos últimos anos, cada um com o próprio nome: GPTBot e OAI-SearchBot alimentam o ChatGPT, ClaudeBot alimenta o Claude, PerplexityBot alimenta o Perplexity, e Google-Extended controla o uso do conteúdo pelo Gemini.
A regra de leitura é direta: o robô procura o próprio nome no arquivo. "Allow: /" libera tudo, "Disallow: /" proíbe tudo. E aqui mora a consequência que interessa ao dono do negócio: as IAs não citam quem elas não conseguem ler. Bloqueio na porta anula qualquer trabalho feito lá dentro.
O erro comum: bloquear tudo sem perceber
Muito site bloqueia os robôs de IA sem que o dono tenha decidido isso. Acontece por três caminhos: um plugin de segurança que veio com bloqueio de robô ligado, um modelo de robots.txt copiado de um tutorial antigo, ou a caixa "desencorajar mecanismos de pesquisa" marcada no WordPress durante a construção do site e nunca desmarcada.
O sintoma no arquivo é sempre o mesmo: uma linha "Disallow: /" logo abaixo de "User-agent: *" ou do nome de um robô específico. Aquela barra sozinha significa "o site inteiro". Confira o seu agora: abra o endereço do site com /robots.txt no final. Se aparecer erro 404, o arquivo ainda existe por criar. Se aparecer "Disallow: /", você achou o problema.
O código pronto para colar
O bloco abaixo libera os robôs que alimentam as respostas de IA, mantém a busca tradicional aberta e aponta o mapa do site. Basta ajustar a última linha para o seu domínio:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: CCBot
Allow: /
User-agent: Bingbot
Allow: /
User-agent: *
Allow: /
Sitemap: https://seudominio.com.br/sitemap.xmlSe você quer manter uma área privada fechada, seja específico: "Disallow: /admin/" bloqueia só aquela pasta. O que nunca se faz é bloquear a raiz inteira para resolver um problema pontual.
Onde publicar?
O arquivo precisa responder exatamente em seudominio.com.br/robots.txt, na raiz, e em nenhum outro lugar. É o único endereço que os robôs verificam. No WordPress com Yoast SEO ou Rank Math, o caminho é Painel, SEO, Ferramentas, Editor de arquivos: dá para editar e salvar sem sair do painel. Sem plugin de SEO, o caminho é o gerenciador de arquivos da hospedagem, na pasta public_html.
Como conferir se funcionou?
Recarregue o endereço do robots.txt no navegador e leia. Os robôs de IA precisam aparecer com "Allow: /", ou pelo menos nenhum "Disallow: /" pode sobrar na raiz. A leitura leva menos de um minuto e dispensa qualquer ferramenta.
Esse arquivo é 1 dos 45 pontos que o diagnóstico da CRIVA confere de graça, junto com o resto do caminho que leva o seu negócio até as respostas das IAs.
Perguntas frequentes
Liberar os robôs de IA melhora minha posição no Google?
São coisas separadas. O Googlebot da busca tradicional tem as próprias regras, e o Google-Extended controla só o uso do conteúdo pelo Gemini. Liberar os robôs de IA abre a porta para as respostas geradas, e a busca clássica continua dependendo dos outros itens do site.
Meu site nem tem robots.txt. Isso bloqueia as IAs?
O padrão dos robôs quando o arquivo não existe é ler tudo, então a ausência costuma liberar o acesso. Mesmo assim vale publicar o arquivo: ele declara a permissão por escrito e ainda aponta o sitemap, que acelera a leitura das suas páginas.
Quanto tempo depois de liberar as IAs passam a me citar?
Liberar é a porta, e ninguém controla o algoritmo de terceiro que decide a citação. Os robôs precisam reler o site e os modelos atualizam o que sabem em ciclos, então a mudança aparece em semanas. Sem a liberação, ela nunca aparece.
Posso manter alguma área do site bloqueada?
Pode e deve, quando fizer sentido. Área administrativa, carrinho e páginas internas de sistema podem ficar com Disallow específico, como /admin/. O cuidado é nunca bloquear a raiz inteira com a barra sozinha, porque isso fecha o site todo.