Datasæt og datakilder – hvor LLM'er henter deres viden om brands

Datasæt og datakilder – hvor LLM'er henter deres viden om brands

LLM'er som ChatGPT, Claude og Gemini er ikke kun trænet på din hjemmeside – de er trænet på billioner af ord fra hundredvis af forskellige kilder. Hvis du vil forstå, hvorfor AI nævner eller ignorerer dit brand, skal du forstå, hvilke datasæt der former disse systemer. Denne guide giver dig et overblik over, hvor LLM'er får deres viden fra, hvordan du kan påvirke disse kilder, og hvilke kilder du bør prioritere.

Hvordan LLM'er lærer om brands

Træningen af en LLM sker i flere faser:

1. Pre-training (fundamentet)

Modellen trænes på massive tekstmængder for at lære sprogstruktur og generel viden.

Primære datasæt:

• Common Crawl – Scrape af hele internettet (billioner af sider)
• Wikipedia – Struktureret, autoritativ viden
• Bog-korpora – Millioner af digitale bøger
• Reddit – Brugerdrevne diskussioner
• Nyhedsarkiver – Historiske nyhedsartikler
• Videnskabelige artikler – Akademisk viden

Hvad det betyder for dit brand: Hvis dit brand ikke er nævnt i disse kilder under pre-training, ved modellen intet om dig fra starten.

2. Fine-tuning (finpudsning)

Efter pre-training bliver modellen finjusteret på specifikt udvalgte data af høj kvalitet.

Kilder:

• Udvalgt tekst fra troværdige kilder
• Indhold skrevet af eksperter
• Strukturerede databaser

3. RLHF (Reinforcement Learning from Human Feedback)

Modellen lærer at give brugbare og sikre svar baseret på menneskelig feedback.

Det påvirker ikke modellens viden om brands direkte, men:

• Modellen lærer at henvise til kilder
• Lærer at erkende usikkerhed
• Lærer at prioritere autoritativ information

4. Realtidssøgning (for visse systemer)

Nogle AI-systemer (som Perplexity og ChatGPT's websøgning) crawler live for at supplere deres viden.

Kilder:

• Din hjemmeside (hvis den kan crawles)
• Nyhedssider
• Sociale medier

De vigtigste datakilder til viden om brands

1. Common Crawl

Hvad det er: Et non-profit projekt, der hver måned crawler milliarder af websider og gør dataene frit tilgængelige.

Hvorfor det betyder noget:

• Mange AI-modeller (inkl. GPT) er trænet på Common Crawl
• Hvis dit site ikke er her, er du usynlig for mange LLM'er

Er dit site med i Common Crawl?

Tjek det her: https://index.commoncrawl.org/

# Tjek om dit domæne er i Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=dinhjemmeside.dk&output=json" | head -5

Sådan kommer du med:

• Tillad CCBot i din robots.txt
• Sørg for, at din side kan crawles
• Vent – Common Crawl crawler automatisk med jævne mellemrum

2. Wikipedia

Hvorfor det er guld værd: Wikipedia er en af de mest autoritative kilder, som LLM'er stoler på. Hvis dit brand har en Wikipedia-side, vil LLM'er bruge den som kilde til fakta.

Sådan kan du påvirke den:

• Opret en Wikipedia-side (hvis du opfylder kriterierne for relevans)
• Sørg for, at eksisterende sider er nøjagtige og opdaterede
• Tilføj kilder og referencer

Wikipedias relevanskriterier:

• Betydelig medieomtale i troværdige kilder
• Uafhængige kilder (ikke PR eller egen markedsføring)
• Flere dybdegående artikler

Hvis du ikke kan få en Wikipedia-side: Fokuser på at blive nævnt i eksisterende relevante Wikipedia-artikler (fx brancheartikler, geografiske sider eller konkurrenters sider med ”Se også”-afsnit).

3. Crunchbase

Hvad det er: En database over virksomheder, finansiering og det teknologiske økosystem.

Hvorfor det betyder noget: LLM'er bruger Crunchbase til at forstå:

• Hvad din virksomhed laver
• Hvem dine konkurrenter er
• Finansieringsfase og størrelse

Optimer din Crunchbase-profil:

1. Gør krav på din Crunchbase-profil
2. Udfyld alle felter:
2. • Beskrivelse (præcis, hvad du laver)
   • Kategorier (vælg relevante tags)
   • Finansieringsinfo
   • Link til hjemmeside
3. Hold den opdateret ved finansieringsrunder eller produktlanceringer

4. LinkedIn

Hvorfor det er vigtigt: LLM'er bruger LinkedIn til at forstå:

• Virksomhedsstørrelse og antal medarbejdere
• Branche og fokusområder
• Brandpositionering

Optimer din LinkedIn Company Page:

• Om-sektion: Tydelig beskrivelse af, hvad du laver
• Specialer: Tilføj relevante søgeord
• Opdateringer: Regelmæssige opslag om produktnyheder, rekruttering og thought leadership
• Medarbejderprofiler: Medarbejdernes profiler kobles til din Company Page

5. Nyheder og medieomtale

Hvorfor det betyder noget: LLM'er værdsætter brands med medieomtale højere end egenpubliceret indhold.

Prioriter:

• Tier 1-medier: TechCrunch, Wired, Wall Street Journal, Financial Times (eller store nationale erhvervsmedier)
• Branchemedier: Relevante fagblade og nichemedier
• Regionale nyheder: Lokale erhvervsmedier

Sådan får du omtale:

• Pressemeddelelser ved produktlanceringer
• Thought leadership-artikler (gæsteindlæg)
• Kommenter aktuelle emner i branchen
• Priser og anerkendelser

6. GitHub (for tech-brands)

Hvorfor det betyder noget: Mange LLM'er er trænet på open source-kode fra GitHub.

Hvis du har open source-projekter:

• Opdater din README med en klar beskrivelse
• Tilføj en ”About”-sektion til dit repository
• Link til din virksomheds hjemmeside
• Medtag use cases og eksempler

7. Sociale medier

Twitter/X:

• Offentlige tweets bliver crawlet af visse LLM'er
• Thought leadership og branding

Reddit:

• Tråde og diskussioner om brands
• Autentiske brugeroplevelser

YouTube:

• Transskriptioner bliver crawlet
• Produktdemonstrationer og guides

8. Akademiske artikler og forskning

Hvis dit brand er drevet af teknologi eller forskning:

• Udgiv whitepapers
• Sponsorer akademisk forskning
• Bidrag til konferencer

Upload til:

• arXiv.org (pre-prints)
• ResearchGate
• Universiteternes databaser

Sådan prioriterer du din indsats

Tier 1: Must-have (størst effekt)

1. Din egen hjemmeside – Med korrekt robots.txt, JSON-LD og sitemap
2. Wikipedia – Hvis du er kvalificeret
3. Crunchbase – For tech-brands
4. LinkedIn – Optimeret Company Page

Tier 2: Stærk ROI

1. Medieomtale – Tier 1 og vigtige branchemedier
2. Common Crawl – Sørg for, at dit site kan crawles
3. GitHub – For open source-brands
4. Branchekataloger – Relevante nichekataloger

Tier 3: Long-tail værdi

1. Reddit – Autentisk engagement i relevante communities
2. YouTube – Videoindhold med transskriptioner
3. Podcasts – Gæsteoptrædener (med transskriptioner)
4. Fora – Stack Overflow, Hacker News, nichespecifikke fora

Sådan tjekker du, om du er med i datasættene

Tjek Common Crawl

curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=dinhjemmeside.dk&output=json" | jq .

Tjek Wikipedia

Søg på https://da.wikipedia.org/ efter dit brandnavn.

Tjek Crunchbase

Besøg https://www.crunchbase.com/organization/YOUR-COMPANY

Tjek medieomtale

# Google Nyheder søgning
https://news.google.com/search?q="Dit Brand Navn"

Tjek GitHub

Søg på https://github.com/search?q=YOUR-BRAND

Tjekliste til implementering

Brug denne tjekliste til at sikre din tilstedeværelse i de vigtigste datasæt:

1. Hjemmeside optimeret – robots.txt, sitemap, JSON-LD
2. Common Crawl – Tillad CCBot
3. Wikipedia-tilstedeværelse – Opret eller opdater siden (hvis du opfylder kriterierne)
4. Crunchbase-profil – Gjort krav på og opdateret
5. LinkedIn Company Page – Komplet profil
6. Medieomtale – Minimum 3–5 omtaler i relevante medier
7. GitHub-repositories – En klar README, hvis du er et tech-brand
8. Social tilstedeværelse – Aktiv på mindst 2 platforme
9. Branchekataloger – Oprettet i relevante kataloger
10. Indholdsdistribution – Del dit indhold på Medium og som LinkedIn-artikler

Konklusion

LLM'er lærer om dit brand gennem hundredvis af kilder – ikke kun din egen hjemmeside. For at opnå maksimal synlighed i AI-svar skal du sikre din tilstedeværelse i de datasæt, der betyder mest: Common Crawl (via dit website), Wikipedia (hvis du er kvalificeret), Crunchbase, LinkedIn og nyhedsmedier.

Prioriter Wikipedia og medieomtale – de vægter uforholdsmæssigt højt, når LLM'er skal vurdere autoritet. Herefter bør du fokusere på at gøre din egen hjemmeside fuldstændig crawlbar og struktureret med JSON-LD.

Husk: Datasæt opdateres ikke i realtid. Der kan gå måneder, fra du udgiver indhold, til det afspejles i LLM-svar. Start nu, og opbyg systematisk din tilstedeværelse i de kilder, som AI-systemerne stoler på.

Jakob Langemark

Co-founder