Jeux de données et sources de données — Où les LLM puisent-ils leurs connaissances sur les marques

Les LLM comme ChatGPT, Claude et Gemini ne sont pas formés uniquement sur votre site web : ils sont entraînés sur des milliers de milliards de mots provenant de centaines de sources différentes. Si vous souhaitez comprendre pourquoi l'IA mentionne ou ignore votre marque, vous devez comprendre quels ensembles de données façonnent ces systèmes. Ce guide vous offre un aperçu de l'origine des connaissances des LLM, de la manière dont vous pouvez influencer ces sources et des sources que vous devriez prioriser.

Jeux de données et sources de données — Où les LLM puisent-ils leurs connaissances sur les marques

Publié le

Auteur

Jakob Langemark

Suivez-nous

Jeux de données et sources de données — D'où les LLM tirent-ils leurs connaissances sur les marques

Les LLM comme ChatGPT, Claude et Gemini ne sont pas formés uniquement sur votre site Web — ils sont formés sur des billions de mots provenant de centaines de sources différentes. Si vous voulez comprendre pourquoi l'IA mentionne ou ignore votre marque, vous devez comprendre quels jeux de données façonnent ces systèmes. Ce guide vous offre un aperçu de l'endroit où les LLM puisent leurs connaissances, comment vous pouvez influencer ces sources et lesquelles vous devez prioriser.

Comment les LLM se renseignent sur les marques

L'entraînement des LLM se déroule en plusieurs phases :

1. Pré-entraînement (la fondation)

Le modèle est entraîné sur d'immenses corpus de textes pour apprendre la structure du langage et acquérir des connaissances générales.

Principaux jeux de données :

  • Common Crawl — Capture de l'ensemble du web (des billions de pages)

  • Wikipédia — Connaissance structurée et faisant autorité

  • Corpus de livres — Des millions de livres numériques

  • Reddit — Discussions animées par la communauté

  • Archives de presse — Articles de presse historiques

  • Articles scientifiques — Connaissances académiques

Ce que cela signifie pour votre marque : Si votre marque n'est pas mentionnée dans ces sources lors du pré-entraînement, le modèle ne sait rien de vous dès le départ.

2. Ajustement fin (raffinement)

Après le pré-entraînement, le modèle est affiné sur des données de haute qualité spécifiquement sélectionnées.

Sources :

  • Texte éditorialisé provenant de sources fiables

  • Contenu rédigé par des experts

  • Bases de données structurées

3. RLHF (Apprentissage par renforcement à partir des commentaires humains)

Le modèle apprend à donner des réponses utiles et sûres basées sur les commentaires humains.

Cela n'affecte pas directement la connaissance de la marque, mais :

  • Le modèle apprend à citer ses sources

  • Il apprend à reconnaître l'incertitude

  • Il apprend à prioriser les informations faisant autorité

4. Récupération en temps réel (pour certains systèmes)

Certains systèmes d'IA (comme Perplexity et la navigation web de ChatGPT) explorent le web en direct pour compléter leurs connaissances.

Sources :

  • Votre site Web (s'il est accessible aux robots d'indexation)

  • Sites d'actualités

  • Réseaux sociaux

Les sources de données les plus importantes pour la connaissance des marques

1. Common Crawl

De quoi s'agit-il : Un projet à but non lucratif qui explore chaque mois des milliards de pages web et met ses données gratuitement à disposition.

Pourquoi c'est important :

  • De nombreux modèles d'IA (y compris GPT) sont entraînés sur Common Crawl

  • Si votre site n'y figure pas, vous êtes invisible pour de nombreux LLM

Votre site est-il dans Common Crawl ?

Vérifiez ici : https://index.commoncrawl.org/

# Vérifiez si votre domaine est dans Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=votre-site-web.com&output=json" | head -5
# Vérifiez si votre domaine est dans Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=votre-site-web.com&output=json" | head -5
# Vérifiez si votre domaine est dans Common Crawl
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=votre-site-web.com&output=json" | head -5

Comment y figurer :

  • Autoriser CCBot dans le fichier robots.txt

  • S'assurer que votre site est explorable

  • Patienter — Common Crawl explore périodiquement et automatiquement le web

2. Wikipédia

Pourquoi c'est de l'or : Wikipédia est l'une des sources les plus fiables auxquelles les LLM font confiance. Si votre marque possède une page Wikipédia, les LLM la citeront comme un fait établi.

Comment l'influencer :

  • Créer une page Wikipédia (si vous respectez les critères d'admissibilité)

  • S'assurer que les pages existantes sont exactes et à jour

  • Ajouter des sources et des références

Critères d'admissibilité de Wikipédia :

  • Couverture médiatique significative dans des sources fiables

  • Sources indépendantes (pas de relations publiques ou d'auto-promotion)

  • Plusieurs articles de fond approfondis

Si vous ne pouvez pas avoir de page Wikipédia : Concentrez-vous sur le fait d'être mentionné dans des articles Wikipédia pertinents existants (par exemple, des articles sectoriels, des pages géographiques ou des pages de concurrents avec des sections « Voir aussi »).

3. Crunchbase

De quoi s'agit-il : Base de données sur les entreprises, les financements et les écosystèmes technologiques.

Pourquoi c'est important : Les LLM utilisent Crunchbase pour comprendre :

  • Ce que fait votre entreprise

  • Qui sont vos concurrents

  • Le stade et la taille de vos financements

Optimisez votre profil Crunchbase :

  1. Revendiquez votre profil Crunchbase ou créez-le

  2. Remplissez tous les champs :

    • Description (spécifiquement ce que vous faites)

    • Catégories (choisissez des tags pertinents)

    • Informations de financement

    • Lien vers le site web

  3. Maintenez-le à jour lors des levées de fonds ou des lancements de produits

4. LinkedIn

Pourquoi c'est important : Les LLM utilisent LinkedIn pour comprendre :

  • La taille de l'entreprise et ses employés

  • Le secteur d'activité et les domaines d'expertise

  • Le positionnement de la marque

Optimisez votre page Entreprise LinkedIn :

  • Section Infos : Description claire de ce que vous faites

  • Spécialisations : Marquez les mots-clés pertinents

  • Publications : Posts réguliers sur l'actualité des produits, les recrutements, le leadership d'opinion

  • Profils des employés : Les profils de vos collaborateurs doivent être rattachés à la page de l'entreprise

5. Couverture médiatique et actualités

Pourquoi c'est important : Les LLM accordent plus de valeur aux marques bénéficiant d'une couverture médiatique qu'au contenu auto-publié.

Ciblez en priorité :

  • Médias de premier plan : TechCrunch, Wired, Wall Street Journal, Financial Times, Le Monde

  • Publications sectorielles : Revues professionnelles spécialisées

  • Actualités régionales : Médias économiques locaux

Comment obtenir de la couverture :

  • Communiqués de presse lors des lancements de produits

  • Articles de tribune/tribunes libres (articles invités)

  • Commentaires sur des sujets d'actualité tendance

  • Prix et distinctions

6. GitHub (pour les marques technologiques)

Pourquoi c'est important : De nombreux LLM sont entraînés sur du code open-source provenant de GitHub.

Si vous avez des projets open-source :

  • Mettez à jour le fichier README avec une description claire

  • Ajoutez une section « À propos » à votre dépôt

  • Insérez un lien vers le site web de votre entreprise

  • Incluez des cas d'usage et des exemples

7. Réseaux sociaux

Twitter/X :

  • Les tweets publics sont explorés par certains LLM

  • Leadership d'opinion et valorisation de marque

Reddit :

  • Discussions communautaires autour des marques

  • Retours d'expérience utilisateurs authentiques

YouTube :

  • Les transcriptions de vidéos sont explorées

  • Démos de produits et tutoriels

8. Travaux universitaires et recherche

Si votre marque est axée sur la technologie ou la recherche :

  • Publiez des livres blancs

  • Soutenez la recherche universitaire

  • Contribuez à des conférences

Ajoutez vos publications sur :

Comment prioriser vos efforts

Priorité 1 : Les indispensables (impact maximal)

  1. Votre propre site web — Avec un fichier robots.txt correct, des données structurées JSON-LD et un sitemap

  2. Wikipédia — Si éligible

  3. Crunchbase — Pour les marques technologiques

  4. LinkedIn — Page entreprise optimisée

Priorité 2 : Un excellent retour sur investissement

  1. Couverture médiatique — Médias de référence et publications spécialisées

  2. Common Crawl — Assurez-vous que votre site est explorable

  3. GitHub — Pour les marques axées sur l'open-source

  4. Annuaires professionnels — Annuaires de niche pertinents

Priorité 3 : Valeur à long terme (longue traîne)

  1. Reddit — Engagement communautaire authentique

  2. YouTube — Contenu vidéo accompagné de transcriptions

  3. Podcasts — Interventions en tant qu'invité (générant des transcriptions)

  4. Forums — Stack Overflow, Hacker News, communautés spécialisées

Comment vérifier que vous êtes présent dans les jeux de données

Vérifier Common Crawl

curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=votre-site-web.com&output=json"
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=votre-site-web.com&output=json"
curl "http://index.commoncrawl.org/CC-MAIN-2024-10-index?url=votre-site-web.com&output=json"

Vérifier Wikipédia

Recherchez le nom de votre marque sur https://fr.wikipedia.org/wiki/Spécial:Recherche.

Vérifier Crunchbase

Visitez https://www.crunchbase.com/organization/VOTRE-ENTREPRISE

Vérifier la couverture médiatique

# Recherche Google Actualités
https://news.google.com/search?q="Nom de votre marque"
# Recherche Google Actualités
https://news.google.com/search?q="Nom de votre marque"
# Recherche Google Actualités
https://news.google.com/search?q="Nom de votre marque"

Vérifier GitHub

Faites une recherche sur https://github.com/search?q=VOTRE-MARQUE

Liste de contrôle pour la mise en œuvre

Utilisez cette liste de contrôle pour assurer votre présence dans les bases de données clés :

  1. Site web optimisé — Robots.txt, sitemap, JSON-LD

  2. Common Crawl — Autoriser CCBot

  3. Présence sur Wikipédia — Créer ou mettre à jour la page (si éligible)

  4. Profil Crunchbase — Revendiqué et mis à jour

  5. Page entreprise LinkedIn — Profil complet

  6. Couverture médiatique — Au moins 3 à 5 mentions dans des médias de référence

  7. Dépôts GitHub — Si marque technologique, fichier README clair

  8. Présence sur les réseaux sociaux — Actif sur au moins 2 plateformes

  9. Annuaires professionnels — Référencé dans les annuaires spécialisés pertinents

  10. Diffusion de contenu — Syndication de publications sur Medium, articles LinkedIn

Conclusion

Les LLM découvrent votre marque à travers des centaines de sources — pas seulement via votre site web. Pour maximiser votre visibilité auprès de l'IA, vous devez garantir votre présence dans les jeux de données les plus influents : Common Crawl (via votre site), Wikipédia (si compatible), Crunchbase, LinkedIn et la couverture médiatique.

Donnez la priorité à Wikipédia et à la couverture presse — ils ont un poids disproportionné dans la façon dont les LLM évaluent l'autorité. Ensuite, concentrez-vous sur l'optimisation de votre propre site web pour qu'il soit parfaitement explorable et structuré avec du JSON-LD.

Rappelez-vous : les jeux de données ne sont pas mis à jour en temps réel. Il peut s'écouler plusieurs mois entre la publication d'un contenu et sa prise en compte dans les réponses des LLM. Commencez dès maintenant et établissez méthodiquement votre présence sur les sources de confiance des systèmes d'IA.