Robots.txt för AI-robotar: så väljer ni vilka som får läsa

Robots.txt är filen där ni talar om för robotar vilka delar av webbplatsen de får läsa och det gäller även robotarna från AI-tjänsterna. Min rekommendation är att släppa in de robotar som hämtar sidor till sök i AI-tjänsterna och att fatta ett eget beslut om träning.

En vanlig oro är att en spärr gör bolaget osynligt i ChatGPT. De stora AI-bolagen har olika robotar för träning och för sök så det händer bara om ni spärrar fel robot.

Vad robots.txt är och var filen ligger

Robots.txt är en vanlig textfil i roten på webbplatsen. För ertbolag.se ligger den på https://ertbolag.se/robots.txt och den gäller bara för just den adressen. En underdomän som butik.ertbolag.se behöver en egen fil.

Filen består av grupper med regler och varje grupp börjar med raden User-agent.

• User-agent anger namnet som roboten presenterar sig med. En stjärna betyder alla robotar som saknar en egen grupp.
• Disallow anger vad roboten inte ska läsa. Disallow: / betyder hela webbplatsen.
• Allow öppnar en del igen inom ett område som annars är spärrat.

User-agent: *
Disallow: /kassan/

User-agent: GPTBot
Disallow: /

Här får alla robotar läsa hela webbplatsen utom kassan medan GPTBot från OpenAI inte får läsa något alls.

En robot följer bara den grupp som nämner den mest exakt så GPTBot struntar i reglerna under stjärnan. Ger ni en robot en egen grupp behöver ni därför upprepa de allmänna regler som också ska gälla för den.

Inom en grupp vinner den regel som stämmer med längst del av adressen. Står både Disallow: /kunder/ och Allow: /kunder/case/ i gruppen får roboten alltså läsa case-sidorna. Är två regler lika långa vinner Allow enligt Googles genomgång av robots.txt.

Tre sorters robotar och var valet sitter

AI-bolagen skickar ut robotar av tre slag och det är sorten som avgör vad en spärr gör.

• Robotar som samlar text till träning. De hämtar innehåll som kan användas när bolaget tränar sina AI-modeller. GPTBot och ClaudeBot är två exempel.
• Robotar som läser sidor till sök. De bygger AI-tjänstens sökindex. Det är förteckningen över sidor som tjänsten kan hitta och länka till när den söker på webben. OAI-SearchBot och Claude-SearchBot är två exempel.
• Robotar som hämtar en sida åt en användare. De besöker en sida när någon ber AI-tjänsten om det. ChatGPT-User och Perplexity-User är två exempel. Flera bolag skriver att robots.txt inte alltid gäller för dem eftersom det är en människa som har bett om besöket.

Valet sitter mellan de två första. Spärrar ni träningen och släpper in sökrobotarna kan ni fortfarande visas och länkas när AI-tjänsterna söker. Spärrar ni sökroboten kan ni försvinna ur svaren. OpenAI skriver till exempel att webbplatser som spärrar OAI-SearchBot inte visas i svaren när ChatGPT söker.

De viktigaste AI-robotarna

Tabellen bygger på bolagens egna dokumentationssidor i november 2026. Namnet i första kolumnen är det ni skriver efter User-agent.

Robot	Bolag	Vad den gör	Om ni spärrar den
GPTBot	OpenAI	Samlar text till träning.	Innehållet används inte till träning. Sök i ChatGPT påverkas inte.
OAI-SearchBot	OpenAI	Läser sidor till sök i ChatGPT.	Ni visas inte i svaren när ChatGPT söker.
ChatGPT-User	OpenAI	Hämtar en sida åt en användare.	Spärren gäller inte alltid. Sök påverkas inte.
OAI-AdsBot	OpenAI	Granskar landningssidor till annonser i ChatGPT.	Annonserna kan inte granskas.
Googlebot	Google	Bygger Googles sökindex.	Ni tappar synligheten i Google Sök.
Google-Extended	Google	Ingen egen robot. Styr om Gemini får tränas på innehållet och hämta det när den svarar.	Innehållet används inte till att träna Gemini eller till svaren i Gemini-apparna. Google Sök påverkas inte.
ClaudeBot	Anthropic	Samlar text till träning.	Nytt innehåll hålls utanför träningen.
Claude-SearchBot	Anthropic	Läser sidor till sök i Claude.	Synligheten i Claudes svar kan minska.
Claude-User	Anthropic	Hämtar en sida åt en användare.	Claude kan inte hämta sidan.
PerplexityBot	Perplexity	Läser sidor till sök i Perplexity. Används inte till träning.	Sidorna kommer inte med i sökindexet.
Perplexity-User	Perplexity	Hämtar en sida åt en användare.	Följer i regel inte robots.txt.
Applebot-Extended	Apple	Ingen egen robot. Styr träning på det som Applebot hämtar.	Innehållet används inte till träning. Ni syns fortfarande i Apples sök.
meta-externalagent	Meta	Samlar text till träning och till indexering i Metas produkter.	Innehållet används inte till det.
meta-webindexer	Meta	Läser sidor till sök i Meta AI.	Troligen färre citat och länkar i Meta AI.
CCBot	Common Crawl	Bygger ett öppet arkiv av webben som bland annat används till träning.	Sidorna hämtas inte till nya versioner av arkivet.
Bingbot	Microsoft	Bygger Bings index som Copilot hämtar sina svar ur.	Ni tappar både Bing och Copilot.

Google-Extended och Applebot-Extended hämtar ingenting själva. Google och Apple läser sidorna med sina vanliga robotar och raden i robots.txt talar bara om vad innehållet får användas till.

Google-Extended tar er inte heller ur AI-översikterna. Sedan den 31 augusti 2026 styrs de av en egen inställning i Search Console som heter Search generative AI. Väljer ni bort AI-översikterna och AI Mode där får ni inga klick därifrån. Enligt Google påverkas inte rankningen i resten av sökresultaten.

Microsoft anger ingen egen robot för Copilot eftersom den hämtar sina webbsvar från Bing. En spärr av Bingbot tar er därför ur båda. Som nej till träning läser Microsoft i dag metataggen noarchive i sidans kod. Den tar också bort sidan ur svaren i Copilot. Från den 1 februari 2027 läser Microsoft i stället en gemensam rad för träning i robots.txt som Google också planerar att stödja.

Annonserar ni i ChatGPT måste OAI-AdsBot komma in på landningssidorna. Det går jag igenom i inlägget om annonser i ChatGPT.

En robots.txt som släpper in sök och spärrar träning

Så här kan filen se ut för ett bolag som vill synas i AI-sök men inte vill att innehållet används till träning.

# Alla robotar utan egen grupp
User-agent: *
Disallow: /kassan/

# Träning av AI-modeller
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

Sitemap: https://ertbolag.se/sitemap.xml

• Rader som börjar med # är kommentarer som robotarna hoppar över.
• Gruppen med stjärnan gäller alla robotar som inte har en egen grupp. De får läsa allt utom kassan.
• Sökrobotarna nämns inte alls och följer därför gruppen med stjärnan. Googlebot och OAI-SearchBot får alltså läsa som vanligt.
• De sex raderna med User-agent bildar en enda grupp så att Disallow: / gäller alla sex.
• Sitemap talar om var webbplatskartan med alla sidor finns. Raden är valfri men hjälper robotarna att hitta allt.

Saknas filen helt får alla robotar läsa allt. Vill ni släppa in även träningen räcker det med gruppen med stjärnan.

Robots.txt är en begäran som robotarna själva väljer att följa

Robots.txt låser ingenting. Standarden för filen säger uttryckligen att reglerna inte är någon behörighetskontroll. Seriösa robotar följer dem och den som struntar i dem kommer ändå åt sidorna.

Den som vill spärra på riktigt gör det i servern eller hos sitt CDN. Det är nätverket av servrar som levererar webbplatsen till besökarna och Cloudflare är ett vanligt exempel.

Spärrar hos Cloudflare

Cloudflare har tre funktioner för AI-robotar som enligt Cloudflare finns på alla abonnemang.

• Configure AI bot policies. Här väljer ni om robotarna i grupperna Search, Agent och Training ska släppas in eller spärras. Spärren kan gälla hela webbplatsen eller bara sidor med annonser. Den sker hos Cloudflare innan besöket når er server.
• Hanterad robots.txt. Slår ni på Bot Preference Sync skriver Cloudflare in era val överst i robots.txt.
• AI Crawl Control. Visar vilka AI-robotar som besöker webbplatsen och hur ofta de bryter mot er robots.txt. Där kan ni också släppa in eller spärra varje robot för sig.

Spärrar i er egen server

Utan Cloudflare kan den som sköter webbplatsen neka robotarna direkt i servern. Det enklaste är att neka på User-agent men namnet går att förfalska. Säkrare är att jämföra med de IP-intervall som bolagen publicerar. Det är listor över adresserna som robotarna besöker er från och OpenAI har till exempel en lista per robot på sin sida om robotarna.

Så kontrollerar ni att reglerna fungerar

• Öppna filen. Det ni ser på er robots.txt i webbläsaren är det robotarna ser.
• Robots.txt-rapporten i Search Console. Rapporten visar vilka filer Google har hittat och när de lästes senast tillsammans med eventuella fel. Efter en viktig ändring kan ni be Google läsa filen igen. Rapporten gäller bara Googles robotar.
• Serverloggarna. Där syns varje besök med robotens namn så att ni kan se om någon fortfarande hämtar sidor som ni har spärrat.
• Ge det ett dygn. OpenAI skriver att det kan ta ungefär 24 timmar innan deras system följer en ändrad fil. Google sparar normalt filen i upp till 24 timmar.

Vad sökrobotarna ger tillbaka syns i besöken. I guiden om att spåra AI-trafik i Google Analytics 4 visar jag hur ni samlar besöken från AI-tjänsterna i en egen kanal.

Min bedömning: släpp in sök och bestäm själva om träning

Min bedömning är att de flesta bolag som vill synas i AI-sök bör släppa in sökrobotarna. Det är de som gör att AI-tjänsterna kan hitta och länka till er när kunderna frågar. Robotarna som hämtar åt användare skulle jag också släppa in eftersom det ofta är en möjlig kund som har bett om besöket.

Träningen är ett eget beslut som beror på vad ni säljer.

• Släpp in träningen om ni vill att modellerna ska känna till ert bolag även när de svarar utan att söka. Min tolkning är att det modellerna har lärt sig under träningen spelar in i de svaren.
• Spärra träningen om innehållet är själva produkten. Det gäller till exempel betalda kurser och rapporter.
• Skydda sidor som inte ska läsas alls med inloggning. Där räcker robots.txt inte.

Bolagen byter namn på robotarna och lägger till nya. Gå därför igenom filen mot bolagens egna sidor en gång per kvartal.

Börja med att öppna er robots.txt

Nästa steg är att öppna er robots.txt tillsammans med den som sköter webbplatsen och jämföra den med tabellen. Då kan ni ändra filen direkt.

Robots.txt avgör bara vilka som får läsa. Om ert bolag faktiskt nämns när kunderna frågar AI-tjänsterna är nästa fråga. Hur vi mäter synligheten i AI-sök står på tjänstesidan.

Vilka av robotarna släpper ni in i dag och är det ett beslut ni har fattat själva?