Sådan forbereder du dit selvhostede website på AI-agenter

I en Hacker News-tråd om trafik fra AI-crawlere beskrev en hostingadministrator belastningen set fra driftssiden: "omkring 6 forskellige ret aggressive AI-bots", der jævnligt sætter sig fast på produktvariant- eller kategorisider og begynder at hamre løs på dem med cirka én forespørgsel i sekundet, på et website hvor "hver sideindlæsning kan tage en hel rundtur på 1 s (det meste brugt i MySQL)". Den samlede effekt, i samme kommentar: "tæt på at få sit website slashdottet hver eneste dag".

At forberede dit website på AI-agenter er først og fremmest et kapacitetsproblem, så det meste af arbejdet her er serverkonfiguration og meget lidt af det er indholdsstrategi. Det nyttige ved denne trafik er, at den for det meste ikke er anonym: virksomhederne bag offentliggør navnene på deres crawlere, dokumenterer hvad hver enkelt bruges til, og fortæller dig, hvordan du slår dem fra. Herefter følger, hvad du skal konfigurere, hvad hver mekanisme reelt håndhæver, og de to trin jeg ville springe over: at udgive en llms.txt og at tilføje schema-markup til AI.

TL;DR

• AI-trafik falder typisk i tre kategorier: træning, indeksering til AI-søgning og hentninger udløst af brugere. OpenAI og Anthropic udstiller separate tokens til de formål, så du kan styre dem uafhængigt; nogle flerformålscrawlere samler flere roller under én identitet.
• OpenAI, Anthropic, Perplexity og Common Crawl dokumenterer robots.txt-kontroller for deres automatiske crawlere. Undtagelsen er brugerudløste hentere: Anthropic anvender også robots.txt på Claude-User, OpenAI siger at reglerne måske ikke gælder for ChatGPT-User, og Perplexity-User ignorerer dem som regel.
• Filen robots.txt er en samtykkemekanisme, ikke adgangskontrol. RFC 9309 giver den ingen håndhævelseskraft i sig selv; bots, der overholder den, kan sænke din belastning, men filen kan hverken strupe eller stoppe trafik, der ikke overholder den.
• På tværs af 137.210 domæner i Ahrefs' analytics-kundebase modtog 97 % af de offentliggjorte llms.txt-filer nul forespørgsler i maj 2026. Udgiv endelig en, hvis du vil, men byg ikke værktøjer op omkring den.
• Behold strukturerede data der, hvor de understøtter klassiske Search-funktioner, men Googles dokumentation siger, at der ikke kræves noget særligt schema eller nogen AI-tekstfil til virksomhedens AI-funktioner.
• Server-render kritisk indhold, hvis du vil have OpenAI, ClaudeBot, PerplexityBot eller CCBot til at læse det. Vercel fandt, at de crawlere ikke kører JavaScript; Gemini via Googlebot og AppleBot er undtagelserne.
• Håndhævelse ud over de samarbejdsbaserede robots.txt-regler bor ved reverse proxyen, i en WAF du selv driver, eller bag en proof-of-work-udfordring, i den rækkefølge omkostningsmæssigt.

Hvad denne artikel ikke dækker

Det handler om et website, der bliver besøgt af agenter, ikke om et website, der handler med dem. Fire tilgrænsende emner lades urørt.

• Agentbaseret handel og checkout-flows, et andet problem for en anden slags website.
• Den juridiske og ophavsretlige diskussion om træningsdata, som er en forretningsbeslutning og ikke en serverkonfiguration.
• En trin for trin-gennemgang af WebMCP-implementering, da standarden stadig er en origin trial.
• CDN-specifik konfiguration ud over det ene Cloudflare-afsnit nedenfor.

Hvilke AI-crawlere hamrer på dit website

GPTBot og ClaudeBot indsamler indhold, der kan bruges til modeltræning. OAI-SearchBot og Claude-SearchBot understøtter AI-søgning og -hentning. ChatGPT-User og Claude-User henter sider som svar på brugerhandlinger. De opgaver er adskilte hos nogle udbydere, men ikke enhver crawler på nettet passer pænt til ét formål.

Billedet af efterlevelse er mere præcist, end den gængse forkortede udlægning antyder. Anthropics crawler-dokumentation siger, at ClaudeBot, Claude-User og Claude-SearchBot respekterer robots.txt. OpenAIs bot-dokumentation siger, at dets automatiske crawlere bruger uafhængige kontroller, men at robots.txt-regler måske ikke gælder for ChatGPT-User, fordi de forespørgsler startes af et menneske. Perplexitys crawler-dokumentation foretager en tilsvarende skelnen: PerplexityBot følger webmasterkontroller, mens Perplexity-User som regel ignorerer robots.txt. Den generelle påstand om, at AI-bots ignorerer robots.txt, blander altså dokumenterede crawlere, der respekterer filen, sammen med brugerudløste hentere, hvis adfærd varierer fra udbyder til udbyder, plus scrapere, der aldrig identificerer sig overhovedet.

Tabellen nedenfor er aktuel på skrivetidspunktet. Nye tokens dukker op hurtigere, end nogen artikel kan følge med, så betragt den som et startkort med kort holdbarhed.

Sådan skriver du robots.txt-regler til AI-crawlere

RFC 9309 siger, at reglerne i robots.txt ikke er en form for adgangsautorisation. IETF standardiserede syntaks, parsing og caching i september 2022; det gjorde ikke filen til en håndhævelsesmekanisme. De detaljer, der bider i praksis, ligger under syntaksen: filen skal være UTF-8-kodet, parsere skal behandle mindst 500 kibibyte, og når direktiver er i konflikt, vinder det mest specifikke stimatch. Hvor en regel står i filen, har ingen betydning.

En robots.txt til AI-bots bruger den samme fil og den samme syntaks, du allerede har; det, der ændrer sig, er tokenlisten. Organiser reglerne efter hensigt, så overlever de udbydernes skiftende opstilling. Hvis din indvending gælder træning, så blokér træningstokens og lad indekseringsbotterne være:

# Block training, keep AI search indexing
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Vil du sende et sitedækkende fravalgssignal til hvert navngivet token i tabellen, så saml dem under én regel. Der er ingen grund til at gentage Disallow elleve gange:

# Send a site-wide opt-out signal to named AI tokens
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: OAI-AdsBot
User-agent: ClaudeBot
User-agent: Claude-User
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Det er stadig ikke en universel blokering. Anthropic anvender robots.txt på Claude-User, men OpenAI siger, at reglerne måske ikke gælder for ChatGPT-User, og Perplexity-User ignorerer dem som regel. Hvis de brugerudløste hentninger skal stoppes og ikke blot frarådes, så håndhæv den beslutning ved proxyen eller i WAF'en.

Google-Extended er det token, der oftest misforstås, og forskellen betyder noget, hvis søgetrafik betaler dine regninger. Googles crawler-dokumentation beskriver det som et selvstændigt produkt-token, der styrer, om crawlet indhold må bruges til Gemini-træning og -grounding uden for Search, og siger, at det ikke påvirker et sites optagelse eller placering i Google Søgning. At blokere det rører ikke ved Googlebots søgeadfærd.

At holde en tokenliste opdateret i hånden er ikke en god måde at bruge eftermiddagen på. Det fællesskabsdrevne ai.robots.txt-repository sporer AI-useragents og genererer konfigurationer til robots.txt, nginx, Caddy, HAProxy, Lighttpd og Apache. Apache-operatører kan lægge den genererede blok ved siden af deres øvrige .htaccess-regler på mappeniveau.

Pro-tip: stol ikke på user-agent-strengen. Det er en header, og headere kan forfalskes gratis. Common Crawls CCBot-dokumentation advarer om, at crawlere fejlagtigt udgiver sig for at være CCBot. Ved IPv4 skal du verificere med forward-confirmed reverse DNS under *.crawl.commoncrawl.org; til IPv6 skal du bruge de IP-intervaller, Common Crawl offentliggør, for reverse DNS understøttes ikke der endnu. Leverandørsiderne ovenfor offentliggør ligeledes aktuelle IP-intervaller for de øvrige navngivne crawlere. Det er en dokumenteret verifikationsvej hos disse leverandører, ikke en egenskab ved AI-crawlere generelt.

Gør llms.txt overhovedet noget?

Ud fra de nuværende data: stort set ingenting. llms.txt er en foreslået tekstfil i roden af dit website, der tilbyder sprogmodeller et kurateret resumé af dit indhold. At udgive en er billigt, men de nuværende data giver dig kun lidt grund til at investere i det, og Googles dokumentation siger, at du ikke har brug for den til virksomhedens AI-søgefunktioner.

Formatet er minimalt. llms.txt-forslaget stammer fra september 2024, ligger på /llms.txt, og gør en H1 med site- eller projektnavnet til det eneste påkrævede afsnit.

Dommen kommer fra målingerne. Ahrefs' undersøgelse af 137.210 domæner fandt, at 28 % af de målte domæner offentliggjorde en llms.txt-fil, og at 97 % af de filer fik nul forespørgsler i maj 2026. Af de forespørgsler, der rent faktisk kom, stammede 19,5 % fra navngivne AI-værktøjer. Ahrefs advarer også om, at en hentning ikke beviser, at filen faktisk blev brugt.

Min læsning af de tal er, at llms.txt er et væddemål på en konvention, som de systemer, den blev skrevet til, ikke har taget bredt til sig. Udgiv den, hvis du kan lide ryddelige rodmapper. Men byg ikke en genereringspipeline op omkring den, lad den ikke blive et blokerende trin i din deployment, og betragt enhver, der sælger den som en rangerings- eller citationsløftestang, som et godt stykke foran beviserne.

Vigtigste pointe: i Ahrefs' undersøgelse fik 97 % af de offentliggjorte llms.txt-filer slet ingen forespørgsler i maj 2026.

Gør dine sider maskinlæsbare

Vercels crawler-måling fandt, at OpenAIs crawlere, ClaudeBot, PerplexityBot, Meta-ExternalAgent, Bytespider og CCBot ikke kører JavaScript. Gemini via Googlebot og AppleBot gør. For de crawlere, der ikke renderer, er indhold, som først dukker op efter client-side hydrering, usynligt, så server-render alt kritisk. Markup er det lettere spørgsmål, og Googles egen vejledning om det er usædvanlig direkte:

"Du behøver ikke oprette nye maskinlæsbare filer, AI-tekstfiler eller markup for at optræde i disse funktioner. Der findes heller ingen særlige strukturerede schema.org-data, du skal tilføje."

Google Search Centrals AI-vejledning

De 40 % øget synlighed, der somme tider citeres til støtte for FAQ-schema, stammer fra GEO-artiklen , der blev antaget til KDD 2024. Artiklen rapporterer gevinster på op til 40 %, men de afprøvede indgreb handler om indholdsændringer som kildehenvisninger, citater, statistik, faglig terminologi og flydende formuleringer, ikke om FAQPage eller nogen anden Schema.org-markup. Tallet holder; koblingen til schema-markup gør ikke.

Behold strukturerede data der, hvor de understøtter en klassisk Search-funktion og matcher den synlige side. Google siger, at adgang til virksomhedens AI-funktioner går gennem almindelig søgeindeksering, uden noget særskilt markup-krav. Det er bare ikke påvist, at det rykker ved AI-citater.

Når robots.txt ikke er nok: rate limiting og WAF på serveren

Direktiver virker på de bots, der har meldt sig til. I den samme Hacker News-trådbeskrev flere operatører den trafik, der ikke gør: crawlere, som spreder deres forespørgsler over store puljer af IP-blokke og roterer useragents for at ligne almindelige besøgende, hvilket sætter både naive per-IP-grænser og useragent-matchning ud af spillet. Betragt det som beretninger fra fællesskabet; ingen i tråden offentliggjorde målinger. Men det beskriver netop den gruppe, robots.txt aldrig var bygget til at nå.

Før du kravler op ad den stige, findes der et billigere træk til trafik, der stadig samarbejder. Sæt farten ned:

User-agent: ClaudeBot
Crawl-delay: 1

Pro-tip: skru ned for farten, før du blokerer. Anthropics dokumentation understøtter Crawl-delay for ClaudeBot , så du kan sætte farten ned for en tung, men velopdragen crawler og alligevel beholde den. Samme side siger, at IP-blokering ikke er en vedvarende fravalgsmekanisme. Begge punkter gælder specifikt Anthropic; Crawl-delay er ikke et universelt direktiv, så tjek først den enkelte leverandørs dokumentation.

Alt derefter er håndhævelse, du selv driver, i tre trin med stigende omkostning og effektivitet. Hvert trin køber noget og giver noget op.

Trin 1: Reverse proxy-direktiver og rate limiting

Rate limiting af AI-crawlere begynder ved reverse proxyen, det første led i din stak, der ser en forespørgsel og kan bremse den, før applikationen eller databasen laver noget som helst arbejde. NGINX' rate limit-dokumentation fastslår, at forespørgsler med en tom nøgle ikke tælles med, så en map kan give en rate limit-nøgle udelukkende til de crawler-tokens, du vil strupe, mens forespørgsler uden match holdes uden for limit_req_zone.

# /etc/nginx/nginx.conf, inside the http block
map $http_user_agent $ai_rate_key {
    default              "";
    ~*GPTBot             $binary_remote_addr;
    ~*OAI-SearchBot      $binary_remote_addr;
    ~*ClaudeBot          $binary_remote_addr;
    ~*Claude-SearchBot   $binary_remote_addr;
    ~*PerplexityBot      $binary_remote_addr;
    ~*CCBot              $binary_remote_addr;
}

limit_req_zone $ai_rate_key zone=ai_slowlane:10m rate=20r/m;

# /etc/nginx/sites-available/example.conf, inside the server block
location / {
    limit_req zone=ai_slowlane burst=10 nodelay;
    proxy_pass http://127.0.0.1:8080;
}

Det par, du skal justere, er burst=10 nodelay: forespørgsler over gennemsnitsraten kan bruge burstet med det samme, og forespørgsler derudover får som standard en 503 som standard. Sætter du den for stramt, smider du en legitim crawler ud midt i et crawl, hvilket er et langsommere problem at diagnosticere end et nedbrud. Caddy udtrykker de samme to idéer med en matcher og en handler; hvis du vælger mellem de to, er konfigurationsfilerne side om side mere nyttige end et syntetisk gennemstrømningstal.

Begrænsningen ved dette trin er, at den langsomme bane stadig afhænger af den erklærede useragent. En scraper i Chrome-forklædning springer helt uden om denne crawlerspecifikke nøgle; at fange den trafik kræver en bredere rate limit baseret på IP-/sti-adfærd eller WAF-trinnet nedenfor.

Trin 2: En web application firewall, du selv driver

En WAF flytter beslutningen fra én header til et regelsæt, der læser forespørgselsmønstre, stier og rater sammen, og det er præcis, hvad du har brug for, når trafikken holder op med at melde sig. At køre den på din egen maskine holder regler og logs på din egen disk, hvor du kan greppe dem klokken tre om natten. BunkerWeb er ét sådant projekt, SafeLine er et andet, og begge kører på en VPS, når værten opfylder projektets krav til arkitektur og ressourcer; vi leverer ét-kliks-versioner af dem begge, så du slipper for opsætningen, selv om indpakningen ikke er den interessante del.

Det er samtidig prisen for dette trin. Regler kræver vedligeholdelse, og en regel, der er strammet nok til at fange en vedholdende scraper, ender med at fange et menneske. SafeLines Monitor-, Balanced- og Strict-tilstande gør den afvejning eksplicit: begynd med at observere trafikken længe nok til at finde falske positiver, før du lader WAF'en returnere 403-svar automatisk.

Trin 3: Proof-of-work-udfordringer

Anubis springer identifikationsproblemet helt over. For trafik, du vælger at udfordre, får den forespørgslen til at betale en lille beregningsomkostning, før origin serverer den. Dens policy-system kan desuden tillade, afvise eller udfordre forespørgsler ud fra matchregler. projektets README kalder den et Web AI Firewall Utility bygget op omkring udfordringer for at beskytte upstream-ressourcer mod scraper-bots. Den virker, uden at hver bot behøver at identificere sig korrekt.

Projektet beskriver selv tilgangen som et atomart svar, og det forbehold er fortjent. Skatten falder på al den trafik, din policy udfordrer, hvilket kan omfatte mennesker på langsomme enheder eller legitime crawlere, hvis reglerne er for brede. Hold dette trin i reserve til virkelig fjendtlig trafik. En ivrig crawler er som regel et rate limit-problem, og rate limitten har du allerede.

Dimensionering til spidsbelastningen

Crawlerbelastning kommer ofte i bølger, men om den er CPU-, database- eller I/O-tung afhænger af applikationen og de URL'er, der crawles. I WordPress-eksemplet ovenfor sporede operatøren det meste af det ene sekunds sidetid til MySQL, så netop den hændelse var en databaseflaskehals forklædt som et trafikproblem.

Det gør dimensionering til et allokeringsspørgsmål, og et ubehageligt et: du betaler for hovedrum løbende, og det tjener først sit til under en spids, du ikke selv styrer. Afsæt alligevel til spidsen. Hvis BunkerWeb deler vært med applikationen og databasen, så betragt ikke 8 GB som en anbefaling for hele stakken. BunkerWebs quickstart-guide anbefaler 2 vCPU'er og 8 GB RAM til test eller installationer med meget få tjenester, og mindst 4 vCPU'er med 16 GB RAM til produktionsmiljøer, der beskytter mange tjenester. Læg applikationens eget CPU-peak, databasehukommelse og I/O-hovedrum oveni.

Kerner med højere clock hjælper, når håndtering af forespørgsler eller udførelse af queries er CPU-bundet; flere kerner hjælper, når du skal have mere samtidigt arbejde i luften. Dimensionér ud fra spidsbelastningens samtidighed, p95-svartid, database-CPU og I/O-ventetid samt cache miss-rate frem for crawlertrafik alene.

At køre det lag selv stiller to krav til maskinen nedenunder: root-adgang, da hver mekanisme ovenfor er en konfigurationsfil, du redigerer, og en tjeneste, du genstarter, og nok hovedrum til, at en spids ikke vælter sitet, mens reglerne gør deres arbejde. Hvis du dimensionerer eller flytter en maskine til det, giver vores Linux VPS dig den root-adgang, denne stak kræver, og lader dig teste proxy- og WAF-opsætningen, før du binder dig til en størrelse på lang sigt.

Byg på en Linux VPS med root-adgang, NVMe og AMD EPYC-kraft.

Se Linux-planer

Cloudflares nye standardindstillinger for AI-trafik

Cloudflare opdelte AI-trafik i kategorierne Search, Agent og Training i sin meddelelse om AI-trafik fra juli 2026. Fra den 15. september 2026 får nye domæner, der kommer på Cloudflare, Training og Agent blokeret som standard på sider, der viser annoncer, mens Search fortsat er tilladt. Eksisterende kunder kan ændre indstillingen på forhånd, og kontrollerne er tilgængelige på tværs af abonnementer.

Det, man skal tage med, er den komplikation, Cloudflare selv nævner i sin meddelelse. I Cloudflares klassifikation kombinerer Googlebot, Applebot og Bingbot hver især søgearbejde med træningsarbejde, så en kunde, der blokerer kategorien Training, blokerer også de crawlere, inklusive den søgeadfærd, vedkommende gerne ville beholde. Det er præcis den fælde, der lurer i enhver kontrol på kategoriniveau, som behandler en flerformålscrawler, som havde den kun ét job.

Hvis dit site ikke ligger bag Cloudflare, er intet af dette et håndtag, du kan trække i. Men vær klar over, at det kommer, for det vil flytte trafikmønstre i september; dine kontroller er fortsat robots.txt-tokens og proxylaget ovenfor.

WebMCP: Værd at holde øje med, ikke værd at bygge til

WebMCP er browsersidens modstykke til Model Context Protocol, den konvention agenter bruger til at kalde strukturerede værktøjer i stedet for at gætte. Chromes annoncering af WebMCP-origin trial formulerer målet direkte: i stedet for at en agent skal gætte, hvad en knap eller et formularfelt gør, kan et site udstille strukturerede funktioner og annoterede kontroller, som agenten kan kalde direkte.

Det er det første troværdige forsøg på at give agenter noget at lave på dit site ud over at læse det, og det gør det til det mest interessante i denne artikel. Det er samtidig eksperimentelt og ufærdigt: en Chrome 149-origin trial, der åbnede i juni 2026. Hold øje med specifikationen. Byg endnu ikke en produktionsafhængighed op omkring det, og hold det uden for din kapacitetsplan.

Ofte stillede spørgsmål

User-agent: GPTBot
Disallow: /

grep -ohE 'GPTBot|ClaudeBot|CCBot|PerplexityBot|OAI-SearchBot|ChatGPT-User' \
  /var/log/nginx/access.log | sort | uniq -c | sort -rn