Datasæt og datakilder – hvor LLM'er henter deres viden om brands

LLM'er som ChatGPT, Claude og Gemini trænes ikke på dit website alene – de trænes på billioner af ord fra hundredvis af forskellige kilder. Hvis du vil forstå, hvorfor AI nævner eller ignorerer dit brand, skal du forstå, hvilke datasæt der former disse systemer. Denne guide giver dig overblik over, hvor LLM'er henter deres viden, hvordan du kan påvirke disse kilder, og hvilke kilder du bør prioritere.

Datasæt og datakilder – hvor LLM'er henter deres viden om brands

Udgivet den

Forfatter

Jakob Langemark

Følg os

Datasæt og datakilder — hvor LLM'er får deres viden om brands fra

LLM'er som ChatGPT, Claude og Gemini er ikke kun trænet på din hjemmeside — de er trænet på billioner af ord fra hundredvis af forskellige kilder. Hvis du vil forstå, hvorfor AI nævner eller ignorerer dit brand, skal du forstå, hvilke datasæt der former disse systemer. Denne guide giver dig et overblik over, hvor LLM'er får deres viden fra, hvordan du kan påvirke disse kilder, og hvilke kilder du bør prioritere.

Hvordan LLM'er lærer om brands

Træningen af en LLM sker i flere faser:

1. Pre-training (fundamentet)

Modellen trænes på massive tekstmængder for at lære sprogstruktur og generel viden.

Primære datasæt:

  • Common Crawl — Scrape af hele internettet (billioner af sider)

  • Wikipedia — Struktureret, autoritativ viden

  • Bog-korpora — Millioner af digitale bøger

  • Reddit — Brugerdrevne diskussioner

  • Nyhedsarkiver — Historiske nyhedsartikler

  • Videnskabelige artikler — Akademisk viden

Hvad det betyder for dit brand: Hvis dit brand ikke er nævnt i disse kilder under pre-training, ved modellen intet om dig fra starten.

2. Fine-tuning (finpudsning)

Efter pre-training bliver modellen finjusteret på specifikt udvalgte data af høj kvalitet.

Kilder:

  • Udvælg tekst fra troværdige kilder

  • Ekspert-skrevet indhold

  • Strukturerede databaser

3. RLHF (Reinforcement Learning from Human Feedback)

Modellen lærer at give brugbare og sikre svar baseret på menneskelig feedback.

Dette påvirker ikke brand-viden direkte, men:

  • Modellen lærer at kildehenvise

  • Lærer at erkende usikkerhed

  • Lærer at prioritere autoritativ information

4. Realtidssøgning (for visse systemer)

Nogle AI-systemer (som Perplexity og ChatGPT's websøgning) crawler live for at supplere deres viden.

Kilder:

  • Din hjemmeside (hvis den kan crawles)

  • Nyhedssider

  • Sociale medier

De vigtigste datakilder til brand-viden

1. Common Crawl

Hvad det er: Et non-profit projekt, der hver måned crawler milliarder af websider og gør dataene frit tilgængelige.

Hvorfor det betyder noget:

  • Mange AI-modeller (inkl. GPT) er trænet på Common Crawl

  • Hvis dit site ikke er her, er du usynlig for mange LLM'er

Er din side med i Common Crawl?

Tjek det her: https://index.commoncrawl.org/

# Tjek om dit domæne er i Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=dinhjemmeside.dk&output=json" | head -5
# Tjek om dit domæne er i Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=dinhjemmeside.dk&output=json" | head -5
# Tjek om dit domæne er i Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=dinhjemmeside.dk&output=json" | head -5

Sådan kommer du med:

  • Tillad CCBot i din robots.txt

  • Sørg for, at din side kan crawles

  • Vent — Common Crawl crawler automatisk med jævne mellemrum

2. Wikipedia

Hvorfor det er guld værd: Wikipedia er en af de mest autoritative kilder, som LLM'er stoler på. Hvis dit brand har en Wikipedia-side, vil LLM'er citere den som fakta.

Sådan gør du dig bemærket:

  • Opret en Wikipedia-side (hvis du opfylder kriterierne for relevans)

  • Sørg for, at eksisterende sider er nøjagtige og opdaterede

  • Tilføj kilder og referencer

Wikipedias relevanskriterier:

  • Betydelig medieomtale i troværdige kilder

  • Uafhængige kilder (ikke PR eller egen markedsføring)

  • Flere dybdegående artikler

Hvis du ikke kan få en Wikipedia-side: Fokuser på at blive nævnt i eksisterende relevante Wikipedia-artikler (f.eks. brancheartikler, geografiske sider eller konkurrentsider med "Se også"-sektioner).

3. Crunchbase

Hvad det er: En database over virksomheder, finansiering og det teknologiske økosystem.

Hvorfor det betyder noget: LLM'er bruger Crunchbase til at forstå:

  • Hvad din virksomhed laver

  • Hvem dine konkurrenter er

  • Finansieringsfase og størrelse

Optimér din Crunchbase-profil:

  1. Gør krav på din Crunchbase-profil

  2. Udfyld alle felter:

    • Beskrivelse (helt specifikt hvad du laver)

    • Kategorier (vælg relevante tags)

    • Finansieringsinfo

    • Link til hjemmeside

  3. Hold den opdateret ved finansieringsrunder eller produktlanceringer

4. LinkedIn

Hvorfor det er vigtigt: LLM'er bruger LinkedIn til at forstå:

  • Virksomhedsstørrelse og antal medarbejdere

  • Branche og fokusområder

  • Brandpositionering

Optimér din LinkedIn Company Page:

  • Om-sektion: Tydelig beskrivelse af, hvad du laver

  • Specialer: Tag relevante søgeord

  • Opdateringer: Regelmæssige opslag om produktnyheder, rekruttering og thought leadership

  • Medarbejderprofiler: Medarbejderprofiler der linker til din Company Page

5. Nyheder og medieomtale

Hvorfor det betyder noget: LLM'er værdsætter brands med medieomtale højere end egenpubliceret indhold.

Prioritér:

  • Tier 1-medier: TechCrunch, Wired, Wall Street Journal, Financial Times (eller store nationale erhvervsmedier)

  • Branchemedier: Relevante fagblade og nichemedier

  • Regionale nyheder: Lokale erhvervsmedier

Sådan får du omtale:

  • Pressemeddelelser ved produktlanceringer

  • Thought leadership-artikler (gæsteindlæg)

  • Kommentér på aktuelle tendenser i branchen

  • Priser og anerkendelser

6. GitHub (for tech-brands)

Hvorfor det betyder noget: Mange LLM'er er trænet på open source-kode fra GitHub.

Hvis du har open source-projekter:

  • Opdatér din README med en klar beskrivelse

  • Tilføj en "About"-sektion til dit repository

  • Link til din virksomheds hjemmeside

  • Inkludér use cases og eksempler

7. Sociale medier

Twitter/X:

  • Offentlige tweets bliver crawlet af visse LLM'er

  • Thought leadership og branding

Reddit:

  • Tråde og diskussioner om brands

  • Autentiske brugeroplevelser

YouTube:

  • Transskriptioner bliver crawlet

  • Produktdemonstrationer og guides

8. Akademiske artikler og forskning

Hvis dit brand er drevet af teknologi eller forskning:

  • Udgiv whitepapers

  • Sponsorér akademisk forskning

  • Bidrag til konferencer

Upload til:

Sådan prioriterer du din indsats

Tier 1: Must-have (størst effekt)

  1. Din egen hjemmeside — Med korrekt robots.txt, JSON-LD og sitemap

  2. Wikipedia — Hvis du er kvalificeret

  3. Crunchbase — For tech-brands

  4. LinkedIn — Optimeret Company Page

Tier 2: Stærk ROI

  1. Medieomtale — Tier 1 og vigtige branchemedier

  2. Common Crawl — Sørg for, at dit site kan crawles

  3. GitHub — For open source-brands

  4. Brancheindeks — Relevante niche-kataloger

Tier 3: Long-tail værdi

  1. Reddit — Autentisk engagement i relevante communities

  2. YouTube — Videoindhold med transskriptioner

  3. Podcasts — Gæsteoptrædener (med transskriptioner)

  4. Forums — Stack Overflow, Hacker News, nichespecifikke fora

Sådan tjekker du, om du er med i datasættene

Tjek Common Crawl

curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=dinhjemmeside.dk&output=json"
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=dinhjemmeside.dk&output=json"
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=dinhjemmeside.dk&output=json"

Tjek Wikipedia

Søg på https://da.wikipedia.org/ efter dit brandnavn.

Tjek Crunchbase

Besøg https://www.crunchbase.com/organization/YOUR-COMPANY

Tjek medieomtale

# Google Nyheder søgning
https://news.google.com/search?q="Dit Brand Navn"
# Google Nyheder søgning
https://news.google.com/search?q="Dit Brand Navn"
# Google Nyheder søgning
https://news.google.com/search?q="Dit Brand Navn"

Tjek GitHub

Søg på https://github.com/search?q=YOUR-BRAND

Tjekliste til eksekvering

Brug denne tjekliste til at sikre din tilstedeværelse i de vigtigste datasæt:

  1. Hjemmeside optimeret — robots.txt, sitemap, JSON-LD

  2. Common Crawl — Tillad CCBot

  3. Wikipedia-tilstedeværelse — Opret eller opdatér side (hvis du opfylder kriterierne)

  4. Crunchbase-profil — Oprettet og opdateret

  5. LinkedIn Company Page — Komplet profil

  6. Medieomtale — Minimum 3-5 omtaler i relevante medier

  7. GitHub-repositories — Hvis tech-brand, hav en skarp README

  8. Social tilstedeværelse — Aktiv på mindst 2 platforme

  9. Brancheindeks — Oprettet i relevante kataloger

  10. Indholdsdistribution — Del dit indhold på Medium og som LinkedIn-artikler

Konklusion

LLM'er lærer om dit brand gennem hundredvis af kilder — ikke kun din egen hjemmeside. For at opnå maksimal synlighed i AI-svar skal du sikre din tilstedeværelse i de datasæt, der betyder mest: Common Crawl (via dit website), Wikipedia (hvis du er kvalificeret), Crunchbase, LinkedIn og nyhedsmedier.

Prioritér Wikipedia og medieomtale — de vægter uforholdsmæssigt højt, når LLM'er skal vurdere autoritet. Herefter bør du fokusere på at gøre din egen hjemmeside fuldstændig crawlbar og struktureret med JSON-LD.

Husk: Datasæt opdateres ikke i realtid. Der kan gå måneder, fra du udgiver indhold, til det afspejles i LLM-svar. Start nu, og opbyg systematisk din tilstedeværelse i de kilder, som AI-systemerne stoler på.