Corpus textuels : enjeux et défis

Évolution des corpus

L’étude des corpus2 textuels a évolué avec les progrès technologiques en linguistique computationnelle et en IA.

Dans les années 1950 et 1960, les corpus étaient relativement « petits », comme le Brown Corpus3, construits manuellement et utilisés pour des analyses linguistiques basiques. Dans les années 1980–90, ils sont devenus plus volumineux comme le British National Corpus4 et ont inclus des données textuelles variées.

À partir des années 2010, avec l’émergence du deep learning, la nécessité de jeux de données massifs et diversifiés s’est imposée. Des corpus tels que Common Crawl5 et ImageNet6 ont vu le jour, fournissant des milliards d’exemples pour entraîner des modèles comme GPT-3 et BERT. Ces ressources ont permis aux systèmes IA d’atteindre des performances jamais vues, enrichies par une diversité linguistique et contextuelle sans précédent.

Les types de corpus

Les corpus peuvent être classés en fonction de leur taille, de leur domaine d’application et de leur spécialisation [39]. On distingue principalement trois catégories : les corpus généraux, les corpus spécialisés, et les corpus multilingues. Les premiers sont des corpus volumineux couvrant un large éventail de genres et de registres7.

Les corpus spécialisés comme PubMed8 (littérature biomédicale) et CaseLaw9 (analyses juridiques) sont dédiés à des domaines spécifiques. Ils sont essentiels pour des tâches nécessitant précision et fiabilité, comme l’extraction de termes techniques ou la détection d’entités. Ces corpus spécialisés peuvent être monolingues, pour assurer une forte cohérence terminologique.

Les corpus multilingues contiennent des textes dans plusieurs langues et sont utilisés pour des applications comme la traduction automatique et la modélisation sémantique. Des ressources comme MOSAICo10 et OPUS11 facilitent l’apprentissage des modèles de traduction automatique et l’étude des relations interlingues.

L’augmentation des données disponibles et la diversité des corpus apportent de nouveaux défis concernant leur collecte, structuration et annotation.

Constitution des corpus

L’explosion des données disponibles sur le Web a facilité la collecte de textes provenant de sources variées [22]. Le choix de sources dépend des objectifs visés : par exemple les blogs, forums, et réseaux sociaux alimentent des corpus destinés à analyser les tendances et les préférences des utilisateurs.

Les corpus peuvent être extraits de textes d’archives12, de répertoires spécialisés comme JSTOR13 pour les sciences sociales, ou être créés via crowdsourcing14, une méthode qui fait appel à un grand nombre de contributeurs pour annoter les données. Pour les langues à faibles ressources, des initiatives comme le Masakhane Corpus [1] montrent l’importance de l’engagement des communautés locales pour la transcription et la traduction [29]. Les progrès technologiques comme le web scraping et la reconnaissance optique de caractères (OCR) permettent d’accéder rapidement à des volumes massifs d’information [3], mais ils présentent des défis : les données collectées peuvent être bruyantes, nécessitant des stratégies de filtrage et de nettoyage [7], tandis que l’OCR doit surmonter les lacunes dues aux textes mal numérisés [15]. Le diagramme de la figure 1 résume les étapes principales de la création d’un corpus.

Corpus et modèles d’IA : quantité, qualité et biais

L’évolution des modèles d’IA repose sur une expansion massive des corpus d’entraînement. Chaque nouvelle génération s’est appuyée sur des jeux de données de plus en plus vastes et diversifiés. Par exemple, OpenAI a multiplié par dix la taille des corpus entre GPT-1 et GPT-2, une tendance qui s’est poursuivie avec GPT-3 et GPT-4 (cf. tableau 1). Les modèles de langage sont entraînés sur des centaines à des milliers de milliards de tokens, provenant de sources variées : pages web, livres numérisés, bases de données spécialisées, médias sociaux et code informatique.

Cependant, l’usage de corpus massifs soulève une question essentielle : existe-t-il un volume optimal de données permettant d’améliorer les performances sans gaspiller inutilement des ressources ?

La question de la quantité optimale de données

Les lois d’échelle (scaling laws [21]) suggèrent que l’augmentation simultanée du nombre de paramètres, de la quantité de données et des ressources de calcul améliore systématiquement la qualité des modèles. Le modèle Chinchilla [18], développé par DeepMind15, a remis en question cette approche. En effet, Chinchilla a surpassé des modèles plus grands mais sous-exploités, démontrant ainsi qu’un équilibre précis entre la capacité du modèle et la quantité de données est essentiel. Cette observation est également soutenue par d’autres études [17], qui soulignent qu’une simple augmentation du volume de données ne garantit pas toujours de meilleures performances.

Par ailleurs, d’autres recherches récentes [36] vont encore plus loin en remettant en cause l’idée qu’un modèle plus grand est toujours préférable. Elles montrent qu’un modèle plus petit mais mieux conçu, avec une architecture optimisée et un corpus soigneusement sélectionné, peut rivaliser avec des modèles massifs. En d’autres termes, la seule accumulation de données ne suffit pas : la qualité, la diversité et la représentativité des corpus jouent un rôle tout aussi déterminant que leur volume.

L’annotation des corpus : entre qualité et automatisation

L’augmentation des volumes de données a rendu le filtrage, le nettoyage et l’annotation indispensables. La qualité de l’annotation est un facteur déterminant pour l’efficacité des modèles de langage [26], mais elle pose des défis en termes de coût, de temps et de fiabilité. Pour y répondre, plusieurs approches ont été développées, allant de l’apprentissage supervisé à l’automatisation partielle.

L’apprentissage supervisé, bien qu’essentiel, repose sur des annotations manuelles coûteuses et longues à produire. Des outils comme Snorkel16 utilisent la supervision faible, génèrent des annotations préliminaires pour réduire le besoin d’intervention humaine.

Le Cross-View Training (CVT, voir [10]), exploite des données non annotées pour améliorer l’annotation automatique combinant annotations de qualité et prédictions sur de grands volumes. L’apprentissage actif (active learning) cible les échantillons les plus informatifs ou incertains pour une annotation manuelle, optimisant l’efficacité. Des outils comme Prodigy17 intègrent cette technique, souvent combinée à d’autres méthodes [6].

L’annotation assistée par l’IA, via des modèles comme GPT-4, génère des annotations préliminaires avec précision, réduisant temps et coûts [11]. Cependant, une validation humaine reste nécessaire pour corriger les biais et erreurs, assurant un compromis optimal entre efficacité et précision.

En somme, l’hybridation des méthodes — supervision faible, assistance par LLM, apprentissage actif et validation humaine — permet de créer des corpus de haute qualité, essentiels pour des modèles d’IA performants et fiables.

Représentativité et biais dans les corpus

La représentativité des corpus est un enjeu à la fois technique et éthique qui affecte directement la qualité des modèles d’intelligence artificielle. Lorsqu’un corpus est dominé par certaines langues ou aspects culturels, il introduit des biais qui influencent les résultats des modèles entraînés [23]. Par exemple, une surreprésentation de l’anglais peut marginaliser d’autres langues et cultures, empêchant les modèles de bien fonctionner dans des contextes multilingues et diversifiés.

Pour faire face à ces biais, plusieurs approches ont été développées. L’échantillonnage stratifié permet d’équilibrer la représentation linguistique et culturelle, en garantissant la présence proportionnelle de différentes sources [8]. La débiaisation18 algorithmique, consiste à corriger les biais présents dans les données en ajustant statistiquement leur importance [5]. FENEC est un exemple de corpus équilibré qui tente de garantir une représentation diversifiée des genres textuels [28]. Enfin, l’approche par crowdsourcing implique directement les communautés concernées et permet de constituer des corpus plus représentatifs des réalités linguistiques et culturelles locales [29].

Cependant, un défi supplémentaire se pose : l’impact environnemental des grands corpus. Leur collecte, stockage et traitement nécessitent des ressources énergétiques importantes, entraînant un coût écologique significatif. Trouver un équilibre entre diversité, représentativité et durabilité écologique est devenu essentiel pour garantir une exploitation responsable et efficace des corpus à l’ère de l’IA [32].

Impact environnemental et gestion durable des corpus

L’entraînement des modèles d’IA sur des corpus massifs engendre une consommation énergétique considérable, soulevant des préoccupations croissantes quant à leur impact écologique. La constitution et la gestion de ces ressources, mobilisent des infrastructures informatiques de grande envergure, bien avant même la phase d’apprentissage des modèles. Dès la collecte, le traitement des corpus passe par des opérations gourmandes en ressources : acquisition de données hétérogènes, nettoyage, annotation et extraction d’informations [35].

L’empreinte énergétique de grands corpus s’étend au-delà de leur préparation initiale. Leur stockage à long terme exige des infrastructures informatiques conséquentes, et leur enrichissement continu pour maintenir leur pertinence accroît cette demande énergétique. Par ailleurs, la réutilisation de ces corpus lors des phases de fine-tuning et d’adaptation des modèles nécessite des calculs intensifs, surtout lorsque ces modèles sont fréquemment mis à jour avec de nouvelles données. Cette expansion continue contribue à alourdir l’empreinte carbone des infrastructures informatiques. Par exemple, l’entraînement de modèles tels que BERT peut consommer autant d’énergie que plusieurs dizaines de foyers sur plusieurs années [35]. Le modèle multilingue BLOOM a lui aussi illustré l’ampleur de cette empreinte écologique, en générant environ \(50\) tonnes de CO₂ lors de son entraînement [24]. Face à ces défis, plusieurs stratégies émergent pour minimiser l’impact environnemental des corpus :

La gestion des corpus doit évoluer vers des pratiques plus durables. La combinaison de stratégies d’échantillonnage intelligent, de techniques de compression et de réduction du stockage redondant pourrait constituer une alternative viable pour concilier l’efficacité des modèles et la préservation des ressources énergétiques.

Défis juridiques, confidentialité et données synthétiques

Outre ces considérations techniques, l’exploitation de corpus à grande échelle soulève d’importantes questions au niveau juridique. De nombreux corpus spécialisés (médicaux, juridiques, journalistiques) sont protégés par des droits de propriété intellectuelle, limitant leur utilisation pour l’entraînement des modèles d’IA. Par exemple, Meta a été accusé d’avoir intégré des livres protégés par le droit d’auteur dans l’entraînement de LLaMA 2, notamment des documents issus de la bibliothèque pirate Library Genesis 20.

De même, OpenAI fait face à des poursuites judiciaires intentées par des auteurs et éditeurs, comme George R.R. Martin et John Grisham21, pour avoir utilisé des œuvres sous copyright sans autorisation dans GPT-3 et GPT-4.

Pour répondre à ces problématiques, plusieurs solutions sont envisagées :

Parallèlement, les données synthétiques peuvent être utilisées pour compléter ou remplacer des jeux de données réels, en particulier quand les données sont rares, déséquilibrées ou difficiles à collecter [30]. Ces données, générées artificiellement, permettent d’augmenter la taille des corpus tout en évitant les problèmes de droits d’auteur. Cependant, leur adoption fait face à de nombreuses critiques, notamment en ce qui concerne leur fiabilité, leur potentiel à reproduire des biais existants, et les risques liés à la protection des données personnelles [14]. Pour répondre à ces préoccupations, des protocoles rigoureux sont essentiels afin de garantir leur qualité, leur transparence et leur conformité aux réglementations en vigueur [9]. En somme, la constitution des corpus doit combiner des impératifs techniques, juridiques et éthiques, tout en explorant des approches alternatives pour répondre aux besoins croissants de l’IA.

Le corpus optimal à l’ère de l’IA générative

La constitution de corpus pour l’entraînement des modèles d’IA repose sur trois critères essentiels : la qualité, la représentativité et la taille des données [4]. Bien que chaque aspect soit souvent étudié individuellement, à l’ère des modèles génératifs comme GPT-4, une approche plus holistique est nécessaire. L’objectif est de définir un « corpus optimal » qui intègre et équilibre, de façon cohérente, les trois dimensions suivantes :

Un corpus optimal doit tout d’abord garantir une qualité élevée, c’est-à-dire des données fiables, correctement annotées et exemptes de biais majeurs [5]. Ensuite, il doit être représentatif, reflétant la diversité linguistique, culturelle et thématique nécessaire pour assurer une bonne généralisation23.

Enfin, la taille du corpus doit être adaptée : ni trop réduite pour éviter de limiter les performances, ni excessivement volumineuse, car une augmentation excessive des données ne garantit pas systématiquement de meilleurs résultats [18].

Cependant, les modèles de grande taille, bien qu’impressionnants, ne comprennent pas le langage. Ils apprennent à partir d’associations statistiques dérivées des corpus, ce qui peut entraîner des biais, des erreurs et parfois des hallucinations24, même lors du préentraînement adaptatif25 [16].

Pour répondre à ces défis, les corpus évoluent vers des formats enrichis : intégration de métadonnées, annotations détaillées et structures logiques pour mieux exploiter les connaissances [13]. Certains corpus récents intègrent même des faits issus de bases de connaissances, permettant aux modèles d’associer génération de texte et inférences logiques pour simuler un « raisonnement automatique »26 (voir [31]). Cette capacité reste cependant une simulation statistique : elle améliore l’apparence logique des réponses sans conférer aux modèles une véritable capacité déductive comparable à celle d’un raisonnement humain complexe. Des travaux récents, tels que NELLIE [38], cherchent justement à introduire des mécanismes d’inférence explicite pour dépasser ces limitations.

En somme, le défi n’est plus seulement d’accumuler des données, mais de les sélectionner intelligemment, de les annoter avec précision et de les structurer pour garantir leur efficacité et leur adaptabilité aux modèles génératifs de nouvelle génération.

Conclusion

La constitution et l’exploitation des corpus textuels restent une tâche complexe, impliquant des enjeux techniques, éthiques et écologiques. Pour y répondre, une approche raisonnée et équilibrée s’impose : sélectionner soigneusement les données pour garantir leur qualité, veiller à leur diversité, et les structurer pour maximiser leur efficacité. Les corpus demeurent au cœur du développement des modèles d’IA, permettant à ces derniers d’être performants, fiables et respectueux des ressources environnementales et des exigences sociétales.

L’avenir des corpus réside dans la création d’écosystèmes modulaires et adaptatifs, où qualité, représentativité et taille sont équilibrées de manière dynamique, en réponse aux besoins évolutifs des modèles et des sociétés.

Références