Crawlbarhed og AI-crawlere – sådan sikrer du, at GPTBot finder dig

Crawlbarhed og AI-crawlere – sådan sikrer du, at GPTBot finder dig

AI-systemer som ChatGPT, Claude og Perplexity kan kun nævne dit brand, hvis de har adgang til dit indhold. De fleste websites er optimeret til Google og Bing, men mange glemmer at give adgang til AI-crawlere som GPTBot, ClaudeBot og CCBot. Denne guide viser dig præcis, hvordan du sikrer, at AI-systemer kan finde, crawle og forstå din hjemmeside.

Hvorfor AI-crawlere er anderledes end søgemaskiner

Traditionelle søgemaskiner som Google og Bing crawler nettet for at opbygge et indeks af sider. AI-systemer gør noget lignende, men med andre formål og metoder:

• GPTBot (OpenAI) crawler nettet for at træne fremtidige versioner af ChatGPT og forbedre modellens viden
• ClaudeBot (Anthropic) indsamler data til Claudes træning og opdateringer
• CCBot (Common Crawl) opbygger et åbent arkiv af nettet, som mange AI-modeller træner på
• Perplexity Bot crawler live for at besvare brugerspørgsmål i realtid

Pointen er: Hvis du blokerer disse crawlere, vil AI-systemerne have begrænset eller forældet viden om dit brand. De kan ikke henvise til indhold, de aldrig har set.

Tjek, om AI-crawlere har adgang til din hjemmeside

Før du ændrer noget, skal du vide, hvor du står. Her er tre måder at tjekke din nuværende crawlbarhed på:

Metode 1: Tjek din robots.txt

Din robots.txt-fil styrer, hvilke crawlere der har adgang. Tjek den på:

https://yourwebsite.com/robots.txt

Kig efter linjer som disse:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

Hvis du ser disse linjer, blokerer du for AI-crawlere. Det skal ændres.

Metode 2: Analyser dine serverlogs

Tjek dine serverlogs for at se, om AI-crawlere faktisk besøger dit site. Søg efter disse user-agents:

GPTBot/1.0
ClaudeBot/1.0
CCBot/2.0
PerplexityBot/1.0

Hvis du ikke ser dem, er der to muligheder: Enten blokerer du dem, eller også er dit site ikke prioriteret i deres crawl-kø endnu.

Metode 3: Test med Bing Webmaster Tools

ChatGPT-søgning bruger sin egen crawler, OAI-SearchBot, men henter også fra søgepartnere som Bing. Tjek din crawlbarhed i Bing:

1. Gå til Bing Webmaster Tools
2. Tilføj din hjemmeside
3. Kig under ”Crawl Control” og ”URL Inspection”
4. Bekræft, at Bingbot kan tilgå dine vigtige sider

Sådan konfigurerer du robots.txt til AI-crawlere

Nu til den praktiske del. Her ser du, hvordan du giver adgang til AI-crawlere uden at miste kontrollen.

Scenarie 1: Giv fuld adgang til alle AI-crawlere

Hvis du vil have maksimal AI-synlighed, skal du bruge denne konfiguration:

# Allow all AI crawlers
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: CCBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Applebot-Extended
Allow: /

# Standard search engines
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Tip: Apples Applebot-Extended bruges til Apple Intelligence. Tag den med, hvis du vil være synlig i Apples AI-funktioner.

Scenarie 2: Tillad AI-crawlere, men beskyt følsomme områder

Hvis du har områder, du ikke ønsker crawlet (fx admin, interne værktøjer eller forældede sider), kan du blokere dem selektivt:

User-agent: GPTBot
Disallow: /admin/
Disallow: /internal/
Disallow: /old-site/
Allow: /

User-agent: CCBot
Disallow: /admin/
Disallow: /internal/
Allow: /

Scenarie 3: Bloker AI-træning, men tillad live-søgning

Nogle ønsker at blokere træningsdata, men stadig være synlige i live-søgninger (som Perplexity). Det er svært, men du kan komme tæt på sådan her:

# Block training crawlers
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

# Allow real-time search bots
User-agent: PerplexityBot
Allow: /

User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Advarsel: Denne strategi er ikke perfekt. Blokerer du GPTBot, fravælger du kun træning. ChatGPT-søgning bruger OAI-SearchBot, og ChatGPT-User henter sider, når nogen beder om det. Lad derfor de to være tilladt, hvis du vil bruges som kilde.

Test din konfiguration

Når du har opdateret robots.txt, skal du bekræfte, at det virker:

1. Tjek Googles robots.txt-rapport

Selvom det er Googles værktøj, kan du bruge det til at validere syntaksen:

1. Gå til Google Search Console
2. Åbn Indstillinger, og vælg rapporten ”robots.txt”
3. Indtast specifikke URL'er
4. Test med forskellige user-agents

2. Manuel test med curl

Simuler en AI-crawler med curl:

curl -A "GPTBot/1.0" https://yourwebsite.com/

curl -A "ClaudeBot/1.0" https://yourwebsite.com/blog/

Hvis du får et 200-svar, er siden tilgængelig. En 403 betyder, at din server eller firewall blokerer botten. Regler i robots.txt ændrer ikke svarkoden, så tjek dem for sig.

3. Valider med robots.txt-parsere

Brug onlineværktøjer som:

• Google Robots Testing Tool
• Technical SEO Robots.txt Tester

Optimer din hjemmeside til AI-crawling

Robots.txt er kun det første skridt. Sådan gør du dit site nemmere at crawle:

1. Forbedr din sitestruktur

• Klar URL-struktur: Brug logiske URL'er (/blog/artikel-navn/ i stedet for /p?id=12345)
• Intern linkstruktur: Link mellem relaterede sider, så crawlere kan finde alt dit indhold
• Brødkrummer: Implementer brødkrummer (breadcrumbs) for at vise hierarkiet

2. Reducer crawl-barrierer

AI-crawlere har begrænsninger. Fjern disse typiske forhindringer:

• JavaScript-afhængighed: Sørg for, at kritisk indhold er tilgængeligt i HTML og ikke kun via JavaScript
• Uendelig scroll: Tilbyd paginering som alternativ
• Login-mure: Gør offentligt indhold tilgængeligt uden login
• CAPTCHA'er: Undgå CAPTCHA på offentlige sider

3. Optimer svartider

Crawlere forlader langsomme sites. Sørg for:

• Serverens svartid: Under 500 ms (helst under 200 ms)
• Time To First Byte (TTFB): Under 600 ms
• Gzip-komprimering: Komprimer dit indhold
• CDN: Overvej et Content Delivery Network for hurtigere indlæsning

Avancerede teknikker til bedre crawlbarhed

Implementer et XML-sitemap

Et sitemap hjælper crawlere med at finde alt dit indhold. Opret et på:

https://yourwebsite.com/sitemap.xml

Inkluder:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://yourwebsite.com/</loc>
    <lastmod>2024-01-15</lastmod>
    <priority>1.0</priority>
  </url>
  <url>
    <loc>https://yourwebsite.com/products/</loc>
    <lastmod>2024-01-14</lastmod>
    <priority>0.8</priority>
  </url>
</urlset>

Opdater lastmod, når indholdet ændres, så crawlere ved, hvad der er nyt.

Brug crawl-hastighedsbegrænsning med omtanke

Hvis dit site er lille, kan for mange crawl-anmodninger overbelaste serveren. Overvej:

# In robots.txt
User-agent: GPTBot
Crawl-delay: 10

User-agent: CCBot
Crawl-delay: 5

Dette angiver en forsinkelse mellem anmodninger (i sekunder). Brug det kun, hvis det er nødvendigt.

Typiske fejl, du skal undgå

Overvåg AI-crawleraktivitet

Når du har åbnet dit site, skal du holde øje med, om AI-crawlerne faktisk kommer på besøg:

Sæt loganalyse op

Analyser dine serverlogs regelmæssigt. Hold øje med:

• Antal besøg fra hver AI-crawler
• Hvilke sider de crawler
• Fejlkoder (4xx, 5xx)
• Crawl-frekvens over tid

Brug Bing og Google Webmaster Tools

Selvom de ikke viser GPTBot direkte, kan du:

• Se Bingbot-aktivitet (en af de kilder, ChatGPT-søgning henter fra)
• Identificere crawl-fejl
• Tjekke, hvilke sider der er indekseret
• Få besked om crawl-problemer

Tjekliste til implementering

Brug denne tjekliste til at sikre god crawlbarhed:

1. Tjek nuværende robots.txt – Er AI-crawlere blokeret?
2. Opdater robots.txt – Giv adgang til GPTBot, ClaudeBot, CCBot osv.
3. Opret/opdater sitemap.xml – Inkluder alle vigtige sider
4. Test konfigurationen – Tjek Googles robots.txt-rapport
5. Fjern crawl-barrierer – JavaScript, login-mure, CAPTCHA'er
6. Optimer svartider – TTFB under 600 ms
7. Implementer intern linkstruktur – Gør indholdet nemt at finde
8. Tilføj strukturerede data – JSON-LD schema markup
9. Sæt overvågning op – Analyser serverlogs
10. Test regelmæssigt – Bekræft, at crawlerne stadig har adgang

Konklusion

Crawlbarhed er fundamentet for AI-synlighed. Uden adgang for AI-crawlere forbliver dit brand usynligt i ChatGPT, Claude og Perplexity – uanset hvor godt dit indhold er. Start med at åbne din robots.txt, optimer din sitestruktur, og hold løbende øje. Det tager under en time at sætte op, men effekten på din AI-synlighed er betydelig.

Husk: AI-systemer udvikler sig lynhurtigt. Nye crawlere kommer til, og de eksisterende ændrer adfærd. Gør det til en vane at gennemgå din crawl-konfiguration hvert kvartal og justere efter behov.

Jakob Langemark

Co-founder