Datasæt og datakilder – hvor LLM'er henter deres viden om brands

LLM'er som ChatGPT, Claude og Gemini trænes ikke på dit website alene – de trænes på billioner af ord fra hundredvis af forskellige kilder. Hvis du vil forstå, hvorfor AI nævner eller ignorerer dit brand, skal du forstå, hvilke datasæt der former disse systemer. Denne guide giver dig overblik over, hvor LLM'er henter deres viden, hvordan du kan påvirke disse kilder, og hvilke kilder du bør prioritere.

Datasæt og datakilder – hvor LLM'er henter deres viden om brands

Udgivet den

Forfatter

Jakob Langemark

Følg os

Datasæt og datakilder — hvor LLM'er får deres viden om brands fra

LLM'er som ChatGPT, Claude og Gemini er ikke kun trænet på din hjemmeside — de er trænet på Billioner af ord fra hundredvis af forskellige kilder. Hvis du vil forstå, hvorfor AI nævner eller ignorerer dit brand, skal du forstå, hvilke datasæt der former disse systemer. Denne guide giver dig et overblik over, hvor LLM'er får deres viden fra, hvordan du kan påvirke disse kilder, og hvilke du bør prioritere.

Hvordan LLM'er lærer om brands

Træningen af en LLM sker i flere faser:

1. Pre-training (fundamentet)

Modellen trænes på massive mængder tekst for at lære sprogstruktur og generel viden.

Primære datasæt:

  • Common Crawl — Scraping af hele internettet (milliarder af sider)

  • Wikipedia — Struktureret, autoritativ viden

  • Bøger (books corpus) — Millioner af digitale bøger

  • Reddit — Brugerdrevne diskussioner og communities

  • Nyhedsarkiver — Historiske nyhedsartikler

  • Videnskabelige artikler — Akademisk viden

Hvad det betyder for dit brand: Hvis dit brand ikke er nævnt i disse kilder under pre-training, ved modellen intet om dig fra starten.

2. Fine-tuning (finjustering)

Efter pre-training finjusteres modellen på specifikt udvalgte data af høj kvalitet.

Kilder:

  • Udvælg tekst fra troværdige kilder

  • Ekspertindhold

  • Strukturerede databaser

3. RLHF (Reinforcement Learning from Human Feedback)

Modellen lærer at give brugbare og sikre svar baseret på menneskelig feedback.

Dette påvirker ikke direkte viden om dit brand, men:

  • Modellen lærer at citere kilder

  • Lærer at håndtere usikkerhed

  • Lærer at prioritere autoritativ information

4. Realtidssøgning (for visse systemer)

Nogle AI-systemer (som Perplexity og ChatGPT's websøgning) crawler live for at supplere deres eksisterende viden.

Kilder:

  • Din hjemmeside (hvis den kan crawles)

  • Nyhedssider

  • Sociale medier

De vigtigste datakilder til brand-viden

1. Common Crawl

Hvad det er: Et non-profit projekt, der månedligt crawler milliarder af websider og gør dataen frit tilgængelig.

Hvorfor det er vigtigt:

  • Mange AI-modeller (inkl. GPT) er trænet på Common Crawl

  • Hvis din side ikke er her, er du usynlig for mange LLM'er

Er dit website med i Common Crawl?

Tjek det her: https://index.commoncrawl.org/

# Tjek om dit domæne er i Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=yourwebsite.com&output=json" | head -5
# Tjek om dit domæne er i Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=yourwebsite.com&output=json" | head -5
# Tjek om dit domæne er i Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=yourwebsite.com&output=json" | head -5

Sådan kommer du med:

  • Tillad CCBot i din robots.txt

  • Sørg for, at din side kan crawles

  • Vent — Common Crawl crawler automatisk med jævne mellemrum

2. Wikipedia

Hvorfor det er guld værd: Wikipedia er en af de mest autoritative kilder, LLM'er stoler på. Hvis dit brand har en Wikipedia-side, vil LLM'er citere den som fakta.

Sådan påvirker du det:

  • Opret en Wikipedia-side (hvis du opfylder kriterierne for relevans)

  • Sørg for, at eksisterende sider er korrekte og opdaterede

  • Tilføj kilder og referencer

Wikipedias relevanskriterier:

  • Betydelig medieomtale i troværdige kilder

  • Uafhængige kilder (ikke PR eller egen markedsføring)

  • Flere dybdegående artikler

Hvis du ikke kan få en Wikipedia-side: Fokusér på at blive nævnt i eksisterende, relevante Wikipedia-artikler (f.eks. brancheartikler, geografiske sider eller konkurrentsider med "Se også"-sektioner).

3. Crunchbase

Hvad det er: Database over virksomheder, finansiering og det teknologiske økosystem.

Hvorfor det er vigtigt: LLM'er bruger Crunchbase til at forstå:

  • Hvad din virksomhed laver

  • Hvem dine konkurrenter er

  • Finansieringsfase og størrelse

Optimér din Crunchbase-profil:

  1. Gør krav på din Crunchbase-profil (claim)

  2. Udfyld alle felter:

    • Beskrivelse (helt specifikt hvad du gør)

    • Kategorier (vælg relevante tags)

    • Finansieringsinfo

    • Link til website

  3. Hold den opdateret ved investeringsrunder eller produktlanceringer

4. LinkedIn

Hvorfor det er vigtigt: LLM'er bruger LinkedIn til at forstå:

  • Virksomhedsstørrelse og antal medarbejdere

  • Branche og fokusområder

  • Brand-positionering

Optimér din LinkedIn-virksomhedsside:

  • Om-sektion: Skarp beskrivelse af, hvad I laver

  • Specialer: Tag relevante søgeord

  • Opdateringer: Regelmæssige opslag om produktnyheder, rekruttering og thought leadership

  • Medarbejderprofiler: Sørg for, at medarbejdernes profiler er linket til virksomhedssiden

5. Nyheder og medieomtale

Hvorfor det er vigtigt: LLM'er vægter brands med medieomtale langt højere end dit eget indhold.

Prioritér:

  • Tier 1-medier: TechCrunch, Wired, Wall Street Journal, Børsen, Finans

  • Branchemedier: Relevante fagblade i din niche

  • Regionale nyheder: Lokale erhvervsmedier

Sådan får du omtale:

  • Pressemeddelelser ved produktlanceringer

  • Thought leadership-artikler (gæsteindlæg)

  • Kommentér på aktuelle tendenser i medierne

  • Priser og anerkendelser

6. GitHub (for tech-brands)

Hvorfor det er vigtigt: Mange LLM'er er trænet på open source-kode fra GitHub.

Hvis du har open source-projekter:

  • Opdatér din README med en knivskarp beskrivelse

  • Tilføj en "About"-sektion til dit repo

  • Link til din virksomheds hjemmeside

  • Inkludér use cases og eksempler

7. Sociale medier

X (tidligere Twitter):

  • Offentlige tweets crawles af flere LLM'er

  • Oplagt til thought leadership og branding

Reddit:

  • Søg efter diskussioner om dit brand i relevante subreddits

  • Giver indblik i autentiske brugeroplevelser

YouTube:

  • Transskriptioner bliver crawlet og læst

  • Brug det til produktdemoer og guides

8. Akademiske artikler og forskning

Hvis dit brand er drevet af tech eller forskning:

  • Udgiv whitepapers

  • Sponsorér akademisk forskning

  • Bidrag til konferencer

Upload til:

Sådan prioriterer du din indsats

Tier 1: Need-to-have (størst effekt)

  1. Din egen hjemmeside — Med korrekt robots.txt, JSON-LD og sitemap

  2. Wikipedia — Hvis du opfylder kriterierne

  3. Crunchbase — For tech- og SaaS-virksomheder

  4. LinkedIn — En fuldt optimeret virksomhedsside

Tier 2: Stærk ROI

  1. Medieomtale — Tier 1 og vigtige branchemedier

  2. Common Crawl — Sørg for, at dit site er nemt at crawle

  3. GitHub — Hvis du har open source-projekter

  4. Brancheindeks — Relevante nicherelaterede databaser

Tier 3: Long-tail effekt

  1. Reddit — Autentisk engagement i relevante communities

  2. YouTube — Videomateriale med gode transskriptioner

  3. Podcasts — Gæsteoptrædener (hvor episoderne transskriberes)

  4. Forums — CSS-Tricks, Stack Overflow, Hacker News og nichenetværk

Sådan tjekker du, om du er med i datasættene

Tjek Common Crawl

curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=yourwebsite.com&output=json"
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=yourwebsite.com&output=json"
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=yourwebsite.com&output=json"

Tjek Wikipedia

Søg på https://da.wikipedia.org/ efter dit brandnavn.

Tjek Crunchbase

Gå til https://www.crunchbase.com/organization/YOUR-COMPANY

Tjek nyhedsomtale

# Google News-søgning
https://news.google.com/search?q="Dit Brand Navn"
# Google News-søgning
https://news.google.com/search?q="Dit Brand Navn"
# Google News-søgning
https://news.google.com/search?q="Dit Brand Navn"

Tjek GitHub

Søg på https://github.com/search?q=YOUR-BRAND

Tjekliste til eksekvering

Brug denne tjekliste til at sikre din tilstedeværelse i de vigtige datasæt:

  1. Website optimeret — robots.txt, sitemap og JSON-LD på plads

  2. Common Crawl — Husk at tillade CCBot

  3. Wikipedia-tilstedeværelse — Opret eller opdatér side (hvis muligt)

  4. Crunchbase-profil — Gør krav på og opdatér profilen

  5. LinkedIn-virksomhedsside — Gør profilen 100% komplet

  6. Nyhedsomtale — Sigt efter mindst 3-5 omtaler i relevante medier

  7. GitHub-repos — Skriv en knivskarp README (hvis relevant)

  8. Social tilstedeværelse — Vær aktiv på mindst 2 platforme

  9. Brancheindeks — Bliv oprettet i relevante databaser

  10. Indholdsdistribution — Del også dit indhold på Medium og via LinkedIn-artikler

Konklusion

LLM'er lærer om dit brand gennem hundredvis af kilder — ikke kun din egen hjemmeside. For at opnå maksimal synlighed i AI-søgninger skal du sikre din tilstedeværelse i de vigtigste datasæt: Common Crawl (via dit website), Wikipedia (hvis muligt), Crunchbase, LinkedIn og i nyhedsmedierne.

Prioritér Wikipedia og nyhedsomtale — de har uforholdsmæssig stor vægt, når LLM'er skal vurdere din autoritet. Sørg derefter for, at din egen hjemmeside er perfekt struktureret med JSON-LD og nem at crawle.

Husk: Datasæt opdateres ikke i realtid. Der kan gå måneder, fra du udgiver indhold, til det slår igennem i LLM-svar. Start nu, og opbyg systematisk din tilstedeværelse i de kilder, som AI stoler på.