Come preparare il tuo sito self-hosted agli agenti IA

In un thread di Hacker News sul traffico dei crawler IA, un amministratore di hosting ha descritto il carico dal lato dell'operatore: «circa 6 bot IA diversi e piuttosto aggressivi» che periodicamente si incastrano su pagine di varianti di prodotto o di categoria e iniziano a colpirle a circa una richiesta al secondo, su un sito dove «ogni caricamento di pagina può richiedere un intero secondo di andata e ritorno (per la maggior parte speso in MySQL)». L'effetto cumulativo, nello stesso commento: «è quasi come vedersi il sito slashdottato ogni singolo giorno».

Preparare il tuo sito agli agenti IA è prima di tutto un problema di capacità, quindi la maggior parte del lavoro qui è configurazione del server e ben poco è strategia dei contenuti. La proprietà utile di questo traffico è che in gran parte non è anonimo: le aziende che lo generano pubblicano i nomi dei propri crawler, documentano a cosa serve ciascuno e spiegano come disattivarli. Quel che segue è cosa configurare, cosa impone davvero ciascun meccanismo e i due passaggi che salterei: pubblicare un llms.txt e aggiungere markup schema per l'IA.

TL;DR

• Il traffico IA si divide di solito in addestramento, indicizzazione per la ricerca IA e richieste avviate dall'utente. OpenAI e Anthropic espongono token distinti per questi scopi, quindi puoi controllarli in modo indipendente; alcuni crawler multiuso invece riuniscono più ruoli sotto un'unica identità.
• OpenAI, Anthropic, Perplexity e Common Crawl documentano i controlli robots.txt per i loro crawler automatici. L'eccezione sono i fetcher avviati dall'utente: Anthropic applica robots.txt anche a Claude-User, OpenAI dice che le regole potrebbero non valere per ChatGPT-User, e Perplexity-User in genere le ignora.
• Il file robots.txt è un meccanismo di consenso, non un controllo d'accesso. L'RFC 9309 non gli conferisce alcun potere di applicazione proprio; i bot conformi possono ridurre il tuo carico rispettandolo, ma il file non può limitare né fermare il traffico non conforme.
• Su 137.210 domini nella base clienti analytics di Ahrefs, il 97 % dei file llms.txt pubblicati non ha ricevuto alcuna richiesta a maggio 2026. Pubblicane pure uno, ma non costruirci attorno degli strumenti.
• Mantieni i dati strutturati dove supportano le funzionalità classiche della Ricerca, ma la documentazione di Google dice che per le sue funzionalità IA non serve alcuno schema speciale né file di testo per l'IA.
• Renderizza lato server i contenuti critici se vuoi che OpenAI, ClaudeBot, PerplexityBot o CCBot li leggano. Vercel ha rilevato che questi crawler non eseguono JavaScript; Gemini tramite Googlebot e AppleBot fanno eccezione.
• L'applicazione oltre le regole cooperative di robots.txt vive sul reverse proxy, in un WAF che gestisci tu, o dietro una sfida proof-of-work, in quest'ordine di costo.

Cosa questo articolo non tratta

Qui si parla di un sito visitato dagli agenti, non di un sito che effettua transazioni con loro. Quattro temi adiacenti restano fuori.

• Il commercio agentico e i flussi di checkout, un problema diverso per un tipo di sito diverso.
• Il dibattito legale e sul diritto d'autore riguardo ai dati di addestramento, che è una decisione aziendale e non una configurazione del server.
• Una guida passo passo all'implementazione di WebMCP, dato che lo standard è ancora un origin trial.
• La configurazione specifica per CDN oltre all'unica sezione su Cloudflare qui sotto.

Quali crawler IA stanno colpendo il tuo sito

GPTBot e ClaudeBot raccolgono contenuti che possono essere usati per l'addestramento dei modelli. OAI-SearchBot e Claude-SearchBot supportano la ricerca e il recupero con IA. ChatGPT-User e Claude-User scaricano pagine in risposta ad azioni dell'utente. Per alcuni fornitori questi compiti sono separati, ma non ogni crawler sul web si mappa in modo netto su un unico scopo.

Il quadro della conformità è più preciso di quanto suggerisca la scorciatoia abituale. la documentazione dei crawler di Anthropic dice che ClaudeBot, Claude-User e Claude-SearchBot rispettano robots.txt. la documentazione dei bot di OpenAI dice che i suoi crawler automatici usano controlli indipendenti, ma che le regole di robots.txt potrebbero non valere per ChatGPT-User perché quelle richieste sono avviate da una persona. la documentazione dei crawler di Perplexity opera una distinzione analoga: PerplexityBot segue i controlli del webmaster, mentre Perplexity-User in genere ignora robots.txt. L'affermazione generica secondo cui i bot IA ignorano robots.txt mette dunque nello stesso calderone crawler documentati che rispettano il file, fetcher avviati dall'utente il cui comportamento varia da fornitore a fornitore, e scraper che non si identificano mai.

La tabella qui sotto è aggiornata al momento della stesura. Nuovi token compaiono più in fretta di quanto qualsiasi articolo riesca a seguirli, quindi consideratela una mappa di partenza con vita breve.

Scrivere regole robots.txt per i crawler IA

RFC 9309 dice che le regole in robots.txt non sono una forma di autorizzazione all'accesso. L'IETF ha standardizzato sintassi, parsing e caching a settembre 2022; non ha trasformato il file in un meccanismo di applicazione. I dettagli che mordono davvero stanno sotto la sintassi: il file deve essere codificato in UTF-8, i parser devono elaborare almeno 500 kibibyte e, quando le direttive sono in conflitto, vince la corrispondenza di percorso più specifica. Dove si trova una regola nel file non ha alcuna importanza.

Un robots.txt per bot IA usa lo stesso file e la stessa sintassi che hai già; ciò che cambia è l'elenco dei token. Organizza le regole per intento e sopravvivranno alla rosa dei fornitori. Se la tua obiezione riguarda l'addestramento, blocca i token di addestramento e lascia stare gli indicizzatori:

# Block training, keep AI search indexing
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Se vuoi inviare un segnale di opt-out valido per tutto il sito a ogni token nominato nella tabella, raggruppali sotto un'unica regola. Non serve ripetere il Disallow undici volte:

# Send a site-wide opt-out signal to named AI tokens
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Questo però non è ancora un blocco universale. Anthropic applica robots.txt a Claude-User, ma OpenAI dice che le regole potrebbero non valere per ChatGPT-User, e Perplexity-User in genere le ignora. Se quei prelievi avviati dall'utente devono essere fermati e non solo scoraggiati, applica quella decisione sul proxy o nel WAF.

Google-Extended è il token più spesso frainteso, e la distinzione conta se è il traffico di ricerca a pagarti le bollette. la documentazione dei crawler di Google lo descrive come un token di prodotto autonomo che controlla se i contenuti scansionati possano essere usati per l'addestramento e il grounding di Gemini fuori dalla Ricerca, e dice che non incide sull'inclusione né sul posizionamento di un sito nella Ricerca Google. Bloccarlo non tocca il comportamento di Googlebot nella Ricerca.

Tenere aggiornato a mano un elenco di token non è un buon modo di passare il pomeriggio. Il repository ai.robots.txt mantenuto dalla comunità tiene traccia degli user agent IA e genera configurazioni per robots.txt, nginx, Caddy, HAProxy, Lighttpd e Apache. Chi usa Apache può mettere il blocco generato accanto alle altre regole .htaccess a livello di directory.

Consiglio: non fidarti della stringa user-agent. È un header, e falsificare gli header non costa nulla. La documentazione di CCBot di Common Crawl avverte che alcuni crawler si spacciano per CCBot. Per IPv4, verifica con DNS inverso confermato in avanti sotto *.crawl.commoncrawl.org; per IPv6, usa gli intervalli IP pubblicati da Common Crawl, perché lì il DNS inverso al momento non è supportato. Anche le pagine dei fornitori citate sopra pubblicano gli intervalli IP attuali degli altri crawler nominati. È un percorso di verifica documentato presso questi fornitori, non una proprietà dei crawler IA in generale.

llms.txt serve a qualcosa?

Sulla base delle prove attuali, quasi nulla. llms.txt è un file di testo proposto nella radice del tuo sito che offre ai modelli linguistici un riassunto curato dei tuoi contenuti. Pubblicarne uno costa poco, ma le prove attuali ti danno ben poche ragioni per investirci, e la documentazione di Google dice che non ti serve per le sue funzionalità di Ricerca con IA.

Il formato è minimale. La proposta llms.txt risale a settembre 2024, sta in /llms.txt, e rende un H1 con il nome del sito o del progetto l'unica sezione obbligatoria.

Il verdetto arriva dalle misurazioni. Lo studio di Ahrefs su 137.210 domini ha rilevato che il 28 % dei domini misurati pubblicava un file llms.txt e che il 97 % di quei file non ha ricevuto alcuna richiesta a maggio 2026. Delle richieste effettivamente arrivate, il 19,5 % proveniva da strumenti IA identificati per nome. Ahrefs avverte inoltre che un prelievo non dimostra che il file sia stato davvero usato.

La mia lettura di quei dati è che llms.txt sia una scommessa su una convenzione che i sistemi per cui è stato pensato non hanno adottato su larga scala. Pubblicalo se ti piacciono le radici ordinate. Ma non costruirci attorno una pipeline di generazione, non lasciare che diventi un passaggio bloccante nel tuo deploy, e considera chiunque te lo venda come leva di posizionamento o di citazione parecchio più avanti delle prove.

Punto chiave: nello studio di Ahrefs, il 97 % dei file llms.txt pubblicati non ha ricevuto alcuna richiesta a maggio 2026.

Rendere le tue pagine leggibili dalle macchine

La misurazione dei crawler di Vercel ha rilevato che i crawler di OpenAI, ClaudeBot, PerplexityBot, Meta-ExternalAgent, Bytespider e CCBot non eseguono JavaScript. Gemini tramite Googlebot e AppleBot invece sì. Per i crawler che non renderizzano, i contenuti che compaiono solo dopo l'idratazione lato client sono invisibili, quindi renderizza lato server tutto ciò che è critico. Il markup è la domanda più facile, e le indicazioni di Google al riguardo sono insolitamente dirette:

«Non è necessario creare nuovi file leggibili dalle macchine, file di testo per l'IA o markup per comparire in queste funzionalità. Non esistono neppure dati strutturati schema.org speciali da aggiungere.»

Le indicazioni sull'IA di Google Search Central

L'aumento di visibilità del 40 % talvolta citato a sostegno dello schema FAQ viene dal paper GEO , accettato a KDD 2024. Il paper riporta guadagni fino al 40 %, ma gli interventi testati riguardano modifiche ai contenuti come citazioni di fonti, citazioni testuali, statistiche, terminologia tecnica e formulazione scorrevole, non FAQPage né alcun altro markup Schema.org. Il numero regge; il suo aggancio al markup schema no.

Mantieni i dati strutturati dove supportano una funzionalità classica della Ricerca e corrispondono alla pagina visibile. Google dice che l'idoneità alle sue funzionalità IA passa dall'indicizzazione ordinaria della Ricerca, senza requisiti di markup separati. Semplicemente, non è stato dimostrato che sposti le citazioni da parte dell'IA.

Quando robots.txt non basta: rate limiting e WAF sul server

Le direttive funzionano sui bot che hanno scelto di starci. Nello stesso thread di Hacker Newsdiversi operatori hanno descritto il traffico che non lo fa: crawler che distribuiscono le richieste su enormi bacini di blocchi IP e ruotano gli user agent per sembrare visitatori ordinari, il che vanifica sia i limiti ingenui per IP sia la corrispondenza per user agent. Trattalo come una testimonianza della comunità; nessuno nel thread pubblicava misurazioni. Ma descrive esattamente la popolazione che robots.txt non è mai stato costruito per raggiungere.

Prima di salire quella scala, c'è una mossa più economica per il traffico che ancora collabora. Rallentalo:

User-agent: ClaudeBot
Crawl-delay: 1

Consiglio: limita prima di bloccare. La documentazione di Anthropic supporta Crawl-delay per ClaudeBot , quindi puoi rallentare un crawler pesante ma educato e tenertelo. La stessa pagina dice che il blocco per IP non è un meccanismo di opt-out persistente. Entrambi i punti sono specifici di Anthropic; Crawl-delay non è una direttiva universale, quindi controlla prima la documentazione di ciascun fornitore.

Tutto ciò che viene dopo è applicazione che gestisci tu, in tre gradini a costo ed efficacia crescenti. Ciascuno compra qualcosa e rinuncia a qualcos'altro.

Gradino 1: direttive del reverse proxy e rate limiting

Il rate limiting dei crawler IA parte dal reverse proxy, la prima cosa nel tuo stack che vede una richiesta e può rallentarla prima che applicazione o database facciano qualsiasi lavoro. La documentazione sul rate limit di NGINX afferma che le richieste con chiave vuota non vengono conteggiate, quindi una map può assegnare una chiave di rate limit solo ai token dei crawler che vuoi limitare, lasciando le richieste non corrispondenti fuori da limit_req_zone.

# /etc/nginx/nginx.conf, inside the http block
map $http_user_agent $ai_rate_key {
    default              "";
    ~*GPTBot             $binary_remote_addr;
    ~*OAI-SearchBot      $binary_remote_addr;
    ~*ClaudeBot          $binary_remote_addr;
    ~*Claude-SearchBot   $binary_remote_addr;
    ~*PerplexityBot      $binary_remote_addr;
    ~*CCBot              $binary_remote_addr;
}

limit_req_zone $ai_rate_key zone=ai_slowlane:10m rate=20r/m;

# /etc/nginx/sites-available/example.conf, inside the server block
location / {
    limit_req zone=ai_slowlane burst=10 nodelay;
    proxy_pass http://127.0.0.1:8080;
}

La coppia da regolare è burst=10 nodelay: le richieste sopra la frequenza media possono consumare subito il burst, e quelle oltre ricevono per impostazione predefinita un 503 per impostazione predefinita. Se lo stringi troppo, sbatti fuori un crawler legittimo a metà scansione, un problema più lento da diagnosticare di un disservizio. Caddy esprime le stesse due idee con un matcher e un handler; se stai scegliendo tra i due, i file di configurazione affiancati sono più utili di un numero di throughput sintetico.

Il limite di questo gradino è che la corsia lenta dipende ancora dallo user agent dichiarato. Uno scraper travestito da Chrome scavalca del tutto questa chiave specifica per crawler; per intercettare quel traffico serve un rate limit più ampio basato sul comportamento per IP/percorso, oppure il gradino WAF qui sotto.

Gradino 2: un web application firewall che gestisci tu

Un WAF sposta la decisione da un singolo header a un insieme di regole che legge insieme pattern di richiesta, percorsi e frequenze, ed è esattamente ciò che serve quando il traffico smette di annunciarsi. Farlo girare sulla propria macchina tiene regole e log sul tuo disco, dove puoi greppare alle tre del mattino. BunkerWeb è uno di questi progetti, SafeLine è l'altro, ed entrambi girano su un VPS quando l'host soddisfa i requisiti di architettura e risorse del progetto; forniamo versioni one-click di entrambi per risparmiarti il setup, anche se il packaging non è la parte interessante.

Questo è anche il costo di questo gradino. Le regole richiedono manutenzione, e una regola stretta abbastanza da catturare uno scraper determinato finirà per catturare una persona. Le modalità Monitor, Balanced e Strict di SafeLine rendono esplicito questo compromesso: inizia osservando il traffico abbastanza a lungo da individuare i falsi positivi, prima di lasciare che il WAF restituisca automaticamente risposte 403.

Gradino 3: sfide proof-of-work

Anubis salta del tutto il problema dell'identificazione. Per il traffico che scegli di sfidare, fa pagare alla richiesta un piccolo costo computazionale prima che l'origin la serva. Il suo sistema di policy può anche consentire, negare o sfidare le richieste in base a regole di corrispondenza. Il README del progetto lo definisce un Web AI Firewall Utility costruito attorno alle sfide per proteggere le risorse a monte dai bot di scraping. Funziona senza pretendere che ogni bot si identifichi correttamente.

Il progetto stesso definisce l'approccio una risposta nucleare, e la cautela è meritata. La tassa ricade su tutto il traffico che la tua policy sfida, e con regole troppo larghe può includere persone con dispositivi lenti o crawler legittimi. Tieni questo gradino di riserva per il traffico davvero ostile. Un crawler entusiasta è di solito un problema di rate limit, e il rate limit ce l'hai già.

Dimensionare per il picco

Il carico dei crawler arriva spesso a ondate, ma se pesi di più su CPU, database o I/O dipende dall'applicazione e dagli URL scansionati. Nell'esempio WordPress qui sopra, l'operatore ha ricondotto a MySQL gran parte di quel secondo per pagina, quindi quello specifico incidente era un collo di bottiglia del database travestito da problema di traffico.

Questo trasforma il dimensionamento in una questione di allocazione, e per giunta scomoda: il margine lo paghi di continuo, e si ripaga solo durante un picco che non controlli. Prevedilo comunque, quel picco. Se BunkerWeb condivide l'host con applicazione e database, non prendere gli 8 GB come una raccomandazione per l'intero stack. La guida rapida di BunkerWeb consiglia 2 vCPU e 8 GB di RAM per test o deployment con pochissimi servizi, e almeno 4 vCPU con 16 GB di RAM per ambienti di produzione che proteggono molti servizi. Aggiungici sopra il picco di CPU dell'applicazione stessa, la memoria del database e il margine di I/O.

I core con clock più alto aiutano quando la gestione delle richieste o l'esecuzione delle query è CPU-bound; più core aiutano quando serve tenere in volo più lavoro concorrente. Dimensiona partendo dalla concorrenza di picco, dal tempo di risposta p95, dalla CPU e dall'attesa I/O del database e dal tasso di cache miss, non dal solo traffico dei crawler.

Gestire quello strato da soli chiede due cose alla macchina sottostante: accesso root, dato che ogni meccanismo qui sopra è un file di configurazione che modifichi e un servizio che riavvii, e margine sufficiente perché un picco non butti giù il sito mentre le regole fanno il loro lavoro. Se stai dimensionando o spostando una macchina per questo, il nostro Linux VPS ti dà l'accesso root che questo stack richiede e ti permette di provare la configurazione proxy più WAF prima di impegnarti su una taglia di lungo periodo.

Costruisci su un VPS Linux con accesso root, NVMe e la potenza di AMD EPYC.

Vedi piani Linux

Le nuove impostazioni predefinite di Cloudflare per il traffico IA

Cloudflare ha diviso il traffico IA nelle categorie Search, Agent e Training nel suo annuncio sul traffico IA del luglio 2026. Dal 15 settembre 2026, i nuovi domini che entrano in Cloudflare avranno Training e Agent bloccati per impostazione predefinita sulle pagine che mostrano annunci, mentre Search resta consentito. I clienti esistenti possono cambiare l'impostazione in anticipo, e i controlli sono disponibili su tutti i piani.

La parte da prendere è la complicazione che Cloudflare stessa nomina nel proprio annuncio. Nella sua classificazione, Googlebot, Applebot e Bingbot combinano ciascuno il lavoro di ricerca con quello di addestramento, quindi chi blocca la categoria Training blocca anche quei crawler, compreso il comportamento di ricerca che intendeva conservare. È la stessa trappola in agguato in qualsiasi controllo a livello di categoria che tratti un crawler multiuso come se avesse un solo compito.

Se il tuo sito non sta dietro Cloudflare, niente di tutto questo è una leva che puoi tirare. Sappi però che sta arrivando, perché a settembre sposterà i pattern di traffico; i tuoi controlli restano i token di robots.txt e il livello proxy visto sopra.

WebMCP: vale la pena osservarlo, non costruirci sopra

WebMCP è la controparte lato browser del Model Context Protocol, la convenzione con cui gli agenti chiamano strumenti strutturati invece di tirare a indovinare. L' annuncio dell'origin trial di WebMCP di Chrome inquadra l'obiettivo senza giri di parole: invece che un agente indovini cosa faccia un pulsante o un campo di un modulo, un sito può esporre funzioni strutturate e controlli annotati che l'agente può chiamare direttamente.

È il primo tentativo credibile di dare agli agenti qualcosa da fare sul tuo sito oltre alla lettura, e questo lo rende la cosa più interessante di questo articolo. È anche sperimentale e incompiuto: un origin trial in Chrome 149 aperto a giugno 2026. Tieni d'occhio la specifica. Non spedire ancora una dipendenza di produzione attorno a esso, e tienilo fuori dal tuo piano di capacità.

Domande frequenti

User-agent: GPTBot
Disallow: /

grep -ohE 'GPTBot|ClaudeBot|CCBot|PerplexityBot|OAI-SearchBot|ChatGPT-User' \
  /var/log/nginx/access.log | sort | uniq -c | sort -rn