Como preparar o seu site auto-hospedado para agentes de IA

Numa discussão no Hacker News sobre o tráfego de rastreadores de IA, um administrador de alojamento descreveu a carga do lado do operador: "uns 6 bots de IA diferentes e bastante agressivos" que periodicamente ficam presos em páginas de variantes de produto ou de categoria e começam a martelá-las a cerca de um pedido por segundo, num site onde "cada carregamento de página pode levar um segundo inteiro de ida e volta (a maior parte gasta no MySQL)". O efeito acumulado, no mesmo comentário: "quase como ter um site a levar um Slashdot todos os dias".

Preparar o seu site para agentes de IA é, antes de tudo, um problema de capacidade, pelo que a maior parte do trabalho aqui é configuração de servidor e muito pouco é estratégia de conteúdo. A propriedade útil deste tráfego é que a maior parte dele não é anónima: as empresas que o geram publicam os nomes dos seus rastreadores, documentam para que serve cada um e explicam como desligá-los. O que se segue é o que configurar, o que cada mecanismo impõe na prática e os dois passos que eu saltaria: publicar um llms.txt e adicionar marcação schema para IA.

TL;DR

• O tráfego de IA divide-se normalmente em treino, indexação para pesquisa com IA e pedidos desencadeados pelo utilizador. A OpenAI e a Anthropic expõem tokens separados para esses fins, pelo que pode controlá-los de forma independente; alguns rastreadores multiuso combinam papéis sob uma só identidade.
• A OpenAI, a Anthropic, a Perplexity e a Common Crawl documentam controlos de robots.txt para os seus rastreadores automáticos. A exceção são os obtentores desencadeados pelo utilizador: a Anthropic aplica o robots.txt também ao Claude-User, a OpenAI diz que as regras podem não se aplicar ao ChatGPT-User, e o Perplexity-User geralmente ignora-as.
• O ficheiro robots.txt é um mecanismo de consentimento, não um controlo de acesso. O RFC 9309 não lhe dá qualquer poder de imposição próprio; os bots que o respeitam podem reduzir a sua carga, mas o ficheiro não consegue estrangular nem travar o tráfego que não o respeita.
• Em 137.210 domínios da base de clientes de analítica da Ahrefs, 97 % dos ficheiros llms.txt publicados não receberam qualquer pedido em maio de 2026. Publique um se lhe apetecer, mas não construa ferramentas à volta dele.
• Mantenha os dados estruturados onde sustentam funcionalidades clássicas da Pesquisa, mas a documentação da Google diz que as suas funcionalidades de IA não exigem qualquer esquema especial nem ficheiro de texto para IA.
• Renderize no servidor os conteúdos críticos se quiser que a OpenAI, o ClaudeBot, o PerplexityBot ou o CCBot os leiam. A Vercel verificou que esses rastreadores não executam JavaScript; o Gemini através do Googlebot e o AppleBot são as exceções.
• A imposição para além das regras cooperativas do robots.txt vive no proxy inverso, num WAF que gere você mesmo, ou atrás de um desafio de prova de trabalho, por esta ordem de custo.

O Que Este Artigo Não Aborda

Isto é sobre um site visitado por agentes, não sobre um site que faz transações com eles. Quatro temas adjacentes ficam de fora.

• O comércio agêntico e os fluxos de checkout, um problema diferente para outro tipo de site.
• O debate jurídico e de direitos de autor sobre os dados de treino, que é uma decisão de negócio e não uma configuração de servidor.
• Um passo a passo de implementação do WebMCP, já que a norma ainda é um origin trial.
• Configuração específica de cada CDN para além da única secção sobre Cloudflare abaixo.

Que rastreadores de IA estão a martelar o seu site

O GPTBot e o ClaudeBot recolhem conteúdo que pode ser usado para treinar modelos. O OAI-SearchBot e o Claude-SearchBot suportam a pesquisa e a recuperação com IA. O ChatGPT-User e o Claude-User vão buscar páginas em resposta a ações do utilizador. Essas funções estão separadas em alguns fornecedores, mas nem todos os rastreadores da web se enquadram de forma limpa num único propósito.

O quadro do cumprimento é mais preciso do que o atalho habitual sugere. a documentação de rastreadores da Anthropic diz que o ClaudeBot, o Claude-User e o Claude-SearchBot respeitam o robots.txt. a documentação de bots da OpenAI diz que os seus rastreadores automáticos usam controlos independentes, mas que as regras do robots.txt podem não se aplicar ao ChatGPT-User porque esses pedidos são iniciados por uma pessoa. a documentação de rastreadores da Perplexity faz uma distinção semelhante: o PerplexityBot segue os controlos do webmaster, ao passo que o Perplexity-User geralmente ignora o robots.txt. Assim, a afirmação genérica de que os bots de IA ignoram o robots.txt mistura rastreadores documentados que respeitam o ficheiro com obtentores desencadeados pelo utilizador cujo comportamento varia consoante o fornecedor, além de scrapers que nunca se identificam de todo.

A tabela abaixo está atualizada à data de escrita. Surgem novos tokens mais depressa do que qualquer artigo consegue acompanhar, por isso encare-a como um mapa inicial com pouca validade.

Escrever regras de robots.txt para rastreadores de IA

RFC 9309 diz que as regras do robots.txt não são uma forma de autorização de acesso. O IETF normalizou a sintaxe, a análise e o cache em setembro de 2022; não transformou o ficheiro num mecanismo de imposição. Os pormenores que realmente mordem na prática ficam abaixo da sintaxe: o ficheiro tem de estar codificado em UTF-8, os analisadores têm de processar pelo menos 500 kibibytes e, quando as diretivas entram em conflito, ganha a correspondência de caminho mais específica. O sítio onde uma regra está no ficheiro não tem qualquer influência.

Um robots.txt para bots de IA usa o mesmo ficheiro e a mesma sintaxe que já tem; o que muda é a lista de tokens. Organize as regras por intenção e elas sobreviverão ao elenco de fornecedores. Se a sua objeção é ao treino, bloqueie os tokens de treino e deixe os indexadores em paz:

# Block training, keep AI search indexing
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Se quiser enviar um sinal de exclusão para todo o site a cada token nomeado na tabela, agrupe-os sob uma única regra. Não é preciso repetir o Disallow onze vezes:

# Send a site-wide opt-out signal to named AI tokens
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Isso continua a não ser um bloqueio universal. A Anthropic aplica o robots.txt ao Claude-User, mas a OpenAI diz que as regras podem não se aplicar ao ChatGPT-User, e o Perplexity-User geralmente ignora-as. Se esses pedidos desencadeados pelo utilizador têm de ser travados e não apenas desencorajados, imponha essa decisão no proxy ou no WAF.

O Google-Extended é o token mais mal compreendido, e a distinção importa se é o tráfego de pesquisa que lhe paga as contas. a documentação de rastreadores da Google descreve-o como um token de produto autónomo que controla se o conteúdo rastreado pode ser usado para o treino e a fundamentação do Gemini fora da Pesquisa, e diz que não afeta a inclusão nem a classificação de um site na Pesquisa Google. Bloqueá-lo não mexe no comportamento do Googlebot na Pesquisa.

Manter uma lista de tokens atualizada à mão não é bom uso da tarde de ninguém. O repositório ai.robots.txt mantido pela comunidade acompanha os user agents de IA e gera configurações para robots.txt, nginx, Caddy, HAProxy, Lighttpd e Apache. Quem opera Apache pode colocar o bloco gerado ao lado das suas outras regras .htaccess ao nível do diretório.

Dica profissional: não confie na cadeia user-agent. É um cabeçalho, e forjar cabeçalhos não custa nada. A documentação do CCBot da Common Crawl avisa que há rastreadores que se identificam falsamente como CCBot. Para IPv4, verifique com DNS inverso confirmado em ambos os sentidos sob *.crawl.commoncrawl.org; para IPv6, use os intervalos de IP publicados pela Common Crawl, porque o DNS inverso ainda não é suportado aí. As páginas de fornecedor referidas acima publicam igualmente os intervalos de IP atuais dos restantes rastreadores nomeados. Esse é um caminho de verificação documentado para estes fornecedores, não uma propriedade dos rastreadores de IA em geral.

O llms.txt serve para alguma coisa?

Com as provas atuais, quase nada. O llms.txt é um ficheiro de texto proposto na raiz do seu site que oferece aos modelos de linguagem um resumo curado do seu conteúdo. Publicá-lo é barato, mas as provas atuais dão-lhe poucas razões para investir nele, e a documentação da Google diz que não precisa dele para as suas funcionalidades de Pesquisa com IA.

O formato é mínimo. A proposta llms.txt data de setembro de 2024, fica em /llms.txt, e faz de um H1 com o nome do site ou do projeto a única secção obrigatória.

O veredicto vem das medições. O estudo da Ahrefs sobre 137.210 domínios concluiu que 28 % dos domínios medidos publicavam um ficheiro llms.txt e que 97 % desses ficheiros não receberam qualquer pedido em maio de 2026. Dos pedidos que chegaram de facto, 19,5 % vinham de ferramentas de IA identificadas. A Ahrefs alerta também que uma obtenção não prova que o ficheiro tenha sido efetivamente usado.

A minha leitura desses dados é que o llms.txt é uma aposta numa convenção que os sistemas para os quais foi escrito não adotaram de forma ampla. Publique-o se gosta de raízes arrumadas. Mas não construa um pipeline de geração à volta dele, não deixe que se torne um passo bloqueante no seu deploy, e considere que quem lho vende como alavanca de posicionamento ou de citação vai bem à frente das provas.

Ponto-chave: no estudo da Ahrefs, 97 % dos ficheiros llms.txt publicados não receberam pedido algum em maio de 2026.

Tornar as suas páginas legíveis por máquinas

A medição de rastreadores da Vercel concluiu que os rastreadores da OpenAI, o ClaudeBot, o PerplexityBot, o Meta-ExternalAgent, o Bytespider e o CCBot não executam JavaScript. O Gemini através do Googlebot e o AppleBot executam. Para os rastreadores que não renderizam, o conteúdo que só aparece depois da hidratação no cliente é invisível, por isso renderize no servidor tudo o que for crítico. A marcação é a pergunta mais fácil, e a própria orientação da Google sobre ela é invulgarmente direta:

«Não precisa de criar novos ficheiros legíveis por máquinas, ficheiros de texto para IA nem marcação para aparecer nestas funcionalidades. Também não há dados estruturados schema.org especiais que tenha de acrescentar.»

As orientações sobre IA do Google Search Central

O aumento de visibilidade de 40 % por vezes citado em defesa do esquema FAQ vem do artigo GEO , aceite na KDD 2024. O artigo relata ganhos até 40 %, mas as intervenções que testou centram-se em alterações de conteúdo, como referências, citações, estatísticas, terminologia técnica e redação fluente, e não em FAQPage nem em qualquer outra marcação Schema.org. O número confere; a sua ligação à marcação schema é que não.

Mantenha os dados estruturados onde sustentam uma funcionalidade clássica da Pesquisa e correspondem à página visível. A Google diz que a elegibilidade para as suas funcionalidades de IA passa pela indexação normal da Pesquisa, sem requisito de marcação à parte. Só que não se demonstrou que mexa na citação por IA.

Quando o robots.txt não chega: limitação de taxa e WAF no servidor

As diretivas funcionam nos bots que aderiram. Na mesma discussão no Hacker News, vários operadores descreveram o tráfego que não adere: rastreadores que espalham os pedidos por enormes conjuntos de blocos de IP e vão trocando de user agent para parecerem visitantes normais, o que derrota tanto os limites ingénuos por IP como a correspondência por user agent. Encare isso como relato da comunidade; ninguém na discussão publicava medições. Mas descreve exatamente a população que o robots.txt nunca foi feito para alcançar.

Antes de subir essa escada, há uma jogada mais barata disponível para o tráfego que ainda coopera. Abrande-o:

User-agent: ClaudeBot
Crawl-delay: 1

Dica profissional: estrangule antes de bloquear. A documentação da Anthropic suporta Crawl-delay para o ClaudeBot , pelo que pode abrandar um rastreador pesado mas bem-educado e continuar a tê-lo. A mesma página diz que bloquear IP não é um mecanismo de exclusão persistente. Ambos os pontos são específicos da Anthropic; Crawl-delay não é uma diretiva universal, por isso consulte primeiro a documentação de cada fornecedor.

Tudo o que vem a seguir é imposição que você mesmo gere, em três degraus de custo e eficácia crescentes. Cada um compra alguma coisa e abdica de outra.

Degrau 1: diretivas de proxy inverso e limitação de taxa

A limitação de taxa para rastreadores de IA começa no proxy inverso, a primeira coisa da sua stack que vê um pedido e o consegue abrandar antes de a aplicação ou a base de dados fazerem qualquer trabalho. A documentação de limitação de taxa do NGINX afirma que os pedidos com chave vazia não são contabilizados, pelo que um map pode dar uma chave de limitação apenas aos tokens de rastreador que quer estrangular, deixando os pedidos sem correspondência fora de limit_req_zone.

# /etc/nginx/nginx.conf, inside the http block
map $http_user_agent $ai_rate_key {
    default              "";
    ~*GPTBot             $binary_remote_addr;
    ~*OAI-SearchBot      $binary_remote_addr;
    ~*ClaudeBot          $binary_remote_addr;
    ~*Claude-SearchBot   $binary_remote_addr;
    ~*PerplexityBot      $binary_remote_addr;
    ~*CCBot              $binary_remote_addr;
}

limit_req_zone $ai_rate_key zone=ai_slowlane:10m rate=20r/m;

# /etc/nginx/sites-available/example.conf, inside the server block
location / {
    limit_req zone=ai_slowlane burst=10 nodelay;
    proxy_pass http://127.0.0.1:8080;
}

O par a afinar é burst=10 nodelay: os pedidos acima da taxa média podem consumir a rajada de imediato, e os que a ultrapassam recebem, por omissão, um 503 por omissão. Aperte demasiado e vai expulsar um rastreador legítimo a meio do rastreio, um problema mais lento de diagnosticar do que uma falha de serviço. O Caddy exprime as mesmas duas ideias com um matcher e um handler; se está a escolher entre os dois, os ficheiros de configuração lado a lado são mais úteis do que um número sintético de débito.

A limitação deste degrau é que a via lenta continua a depender do user agent declarado. Um scraper vestido de Chrome contorna por completo esta chave específica para rastreadores; apanhar esse tráfego exige uma limitação mais ampla, baseada no comportamento por IP/caminho, ou o degrau do WAF a seguir.

Degrau 2: uma firewall de aplicações web que gere você mesmo

Um WAF muda a decisão de um único cabeçalho para um conjunto de regras que lê em conjunto padrões de pedido, caminhos e taxas, que é o que precisa assim que o tráfego deixa de se anunciar. Corrê-lo na sua própria máquina mantém as regras e os registos no seu disco, onde lhes pode fazer grep às três da manhã. BunkerWeb é um desses projetos, SafeLine é outro, e ambos correm num VPS desde que a máquina cumpra os requisitos de arquitetura e de recursos do projeto; disponibilizamos versões de um clique dos dois para lhe poupar a instalação, embora o empacotamento não seja a parte interessante.

Esse é também o custo deste degrau. As regras precisam de manutenção, e uma regra apertada o suficiente para apanhar um scraper determinado acabará por apanhar uma pessoa. Os modos Monitor, Balanced e Strict do SafeLine tornam esse compromisso explícito: comece por observar o tráfego tempo suficiente para encontrar falsos positivos antes de deixar o WAF devolver respostas 403 automaticamente.

Degrau 3: desafios de prova de trabalho

O Anubis salta por completo o problema da identificação. Para o tráfego que escolher desafiar, obriga o pedido a pagar um pequeno custo de computação antes de a origem o servir. O seu sistema de políticas também consegue permitir, negar ou desafiar pedidos segundo regras de correspondência. O README do projeto chama-lhe um Web AI Firewall Utility construído em torno de desafios para proteger recursos a montante contra bots de scraping. Funciona sem exigir que cada bot se identifique corretamente.

O próprio projeto descreve a abordagem como uma resposta nuclear, e a ressalva é merecida. O imposto recai sobre todo o tráfego que a sua política desafiar, o que pode incluir pessoas com dispositivos lentos ou rastreadores legítimos se as regras forem demasiado amplas. Guarde este degrau para tráfego genuinamente hostil. Um rastreador entusiasta costuma ser um problema de limitação de taxa, e a limitação já a tem.

Dimensionar para o pico

A carga de rastreio chega muitas vezes em picos, mas se pesa mais no CPU, na base de dados ou nas E/S depende da aplicação e dos URLs a ser rastreados. No exemplo do WordPress acima, o operador atribuiu ao MySQL a maior parte daquele segundo por página, pelo que aquele incidente concreto era um estrangulamento de base de dados vestido de problema de tráfego.

Isso transforma o dimensionamento numa questão de alocação, e das incómodas: paga a folga continuamente e ela só ganha o seu sustento durante um pico que não controla. Ainda assim, provisione para o pico. Se o BunkerWeb partilhar máquina com a aplicação e a base de dados, não tome os 8 GB como recomendação para toda a stack. O guia de início rápido do BunkerWeb recomenda 2 vCPU e 8 GB de RAM para testes ou implementações com muito poucos serviços, e pelo menos 4 vCPU com 16 GB de RAM para ambientes de produção que protejam muitos serviços. Some por cima o pico de CPU da própria aplicação, a memória da base de dados e a folga de E/S.

Núcleos com relógio mais alto ajudam quando o tratamento de pedidos ou a execução de consultas está limitado pelo CPU; mais núcleos ajudam quando precisa de mais trabalho concorrente em curso. Dimensione a partir da concorrência de pico, do tempo de resposta p95, do CPU e da espera de E/S da base de dados e da taxa de falhas de cache, e não apenas do tráfego de rastreio.

Gerir essa camada por si exige duas coisas à máquina por baixo: acesso root, já que cada mecanismo acima é um ficheiro de configuração que edita e um serviço que reinicia, e folga suficiente para que um pico não deite o site abaixo enquanto as regras fazem o seu trabalho. Se está a dimensionar ou a mudar de máquina para isso, o nosso Linux VPS dá-lhe o acesso root que esta stack exige e deixa-o testar a configuração de proxy e WAF antes de se comprometer com um tamanho a longo prazo.

Construa num VPS Linux com acesso root, NVMe e o poder do AMD EPYC.

Ver planos Linux

As novas predefinições da Cloudflare para o tráfego de IA

A Cloudflare dividiu o tráfego de IA nas categorias Search, Agent e Training no seu anúncio sobre tráfego de IA de julho de 2026. A partir de 15 de setembro de 2026, os novos domínios que aderirem à Cloudflare terão Training e Agent bloqueados por omissão nas páginas que exibem anúncios, enquanto Search continua permitido. Os clientes existentes podem alterar a definição antes disso, e os controlos estão disponíveis em todos os planos.

O que vale a pena reter é a complicação que a própria Cloudflare nomeia no seu anúncio. Na classificação da Cloudflare, o Googlebot, o Applebot e o Bingbot combinam cada um trabalho de pesquisa com trabalho de treino, pelo que um cliente que bloqueie a categoria Training bloqueia também esses rastreadores, incluindo o comportamento de pesquisa que queria manter. É a mesma armadilha à espera em qualquer controlo ao nível da categoria que trata um rastreador multiuso como se tivesse uma só função.

Se o seu site não está atrás da Cloudflare, nada disto é uma alavanca que possa puxar. Fique a saber que aí vem, porque vai mexer nos padrões de tráfego em setembro; os seus controlos continuam a ser os tokens do robots.txt e a camada de proxy acima.

WebMCP: vale a pena observar, não construir para já

O WebMCP é a contraparte, do lado do browser, do Model Context Protocol, a convenção que os agentes usam para chamar ferramentas estruturadas em vez de adivinhar. O anúncio do origin trial do WebMCP do Chrome formula o objetivo sem rodeios: em vez de um agente adivinhar o que faz um botão ou um campo de formulário, um site pode expor funções estruturadas e controlos anotados que o agente pode invocar diretamente.

É a primeira tentativa credível de dar aos agentes algo para fazer no seu site além de o lerem, o que faz dela a coisa mais interessante deste artigo. É também experimental e inacabada: um origin trial no Chrome 149 que abriu em junho de 2026. Acompanhe a especificação. Não coloque ainda uma dependência de produção à volta dela, e mantenha-a fora do seu plano de capacidade.

Perguntas frequentes

User-agent: GPTBot
Disallow: /

grep -ohE 'GPTBot|ClaudeBot|CCBot|PerplexityBot|OAI-SearchBot|ChatGPT-User' \
  /var/log/nginx/access.log | sort | uniq -c | sort -rn