ChatGPT-4o face à un test d’histoire de niveau doctorat : ses résultats vont vous surprendre

Les avancées en intelligence artificielle (IA) ont fasciné le monde par leur capacité à accomplir des tâches complexes avec une précision impressionnante. Cependant, une récente étude présentée à la conférence NeurIPS à Vancouver a mis en lumière les limites actuelles de ces technologies.

En se concentrant sur des modèles avancés tels que ChatGPT-4 Turbo, Llama et Gemini, l’étude a révélé que ces IA peinent à traiter des questions d’histoire de niveau doctorat. Bien que performants dans certains domaines, ces systèmes montrent des lacunes significatives lorsqu’il s’agit de comprendre des concepts historiques complexes. Cette découverte soulève des questions cruciales sur la capacité des IA à remplacer une expertise humaine dans des disciplines exigeant une analyse approfondie et des interprétations nuancées.

Des résultats en demi-teinte pour les modèles avancés

Les modèles d’IA ont été soumis à une évaluation rigoureuse basée sur le Seshat Global History Databank, qui compile des données historiques sur plus de 600 sociétés à travers 36 000 points de données. Le modèle qui a obtenu le meilleur résultat, ChatGPT-4 Turbo, a atteint une précision équilibrée de seulement 46 %.

Ce score est à peine supérieur au hasard, ce qui souligne les difficultés des IA actuelles à effectuer des analyses profondes et nuancées dans le domaine de l’histoire. Maria del Rio-Chanona, professeure assistante à University College London, a expliqué que l’histoire n’est pas simplement une suite de faits, mais nécessite des interprétations complexes. Ces interprétations posent un défi considérable pour les modèles d’IA, qui peinent à dépasser le traitement factuel pour intégrer des nuances culturelles et contextuelles.

Cette performance en demi-teinte met en évidence un écart important entre la capacité des IA à traiter des données structurées et leur aptitude à comprendre des concepts nécessitant une réflexion critique. Bien que ces modèles aient montré des compétences impressionnantes dans d’autres domaines, leur application à l’histoire révèle des limitations significatives. Les chercheurs soulignent que pour atteindre un niveau de compréhension comparable à celui requis pour un examen de doctorat en histoire, il est essentiel d’améliorer à la fois la précision des réponses et la capacité des modèles à gérer des concepts complexes.

Accélérez la pousse de vos cheveux : la découverte d’un « interrupteur » moléculaire annonce une révolution capillaire sans précédent

Une intelligence artificielle encore très spécifique à certains domaines

L’étude met en évidence que les performances des modèles d’IA sont fortement dépendantes du domaine d’application. Bien que ces outils aient prouvé leur efficacité dans des champs tels que le droit ou la programmation, ils montrent leurs limites lorsqu’il s’agit de traiter des connaissances historiques globales.

Peter Turchin, directeur du groupe de recherche sur la complexité sociale au Complexity Science Hub, note que les modèles réussissent là où les données sont bien structurées et abondantes. Cependant, ils rencontrent des difficultés à raisonner sur des sujets nécessitant des preuves indirectes ou une analyse critique.

Dans le domaine juridique, par exemple, les règles et les faits sont souvent présentés de manière structurée, ce qui permet aux IA de traiter ces informations efficacement. En revanche, l’histoire est une discipline où les interprétations et les contextes jouent un rôle crucial. Les modèles d’IA doivent donc être capables de naviguer parmi des informations souvent ambiguës et contradictoires, une tâche pour laquelle ils ne sont pas encore pleinement adaptés. Le défi réside dans l’élargissement des capacités des IA pour inclure une compréhension contextuelle et nuancée des sujets historiques. Cela nécessite une évolution des méthodes de formation et des données utilisées pour enrichir ces modèles.

De Lucy à Homo sapiens : 8 millions d’années d’évolution humaine dévoilées à travers une incroyable épopée

Disparités géographiques et temporelles dans les résultats

L’évaluation des modèles d’IA a révélé des disparités marquées selon les régions géographiques et les périodes historiques. Les modèles ont obtenu de meilleurs résultats sur des questions relatives à l’histoire ancienne (8 000 à 3 000 avant notre ère), alors que leurs performances se sont effondrées pour les périodes plus récentes, notamment après 1 500 de notre ère. Cette variabilité souligne la complexité croissante des événements historiques modernes et les difficultés des IA à intégrer les nombreux facteurs contextuels qui influencent ces événements.

En outre, les modèles ont affiché des biais selon les régions du monde. OpenAI s’est mieux débrouillé pour l’Amérique latine et les Caraïbes, tandis que Llama a montré une légère supériorité sur l’Amérique du Nord. Cependant, les deux ont échoué dans leur traitement de l’histoire de l’Afrique subsaharienne et de l’Océanie. Ces lacunes reflètent des biais dans les données d’entraînement, qui tendent à privilégier certaines perspectives historiques tout en négligeant d’autres. Corriger ces biais est essentiel pour améliorer la pertinence et l’exactitude des réponses des IA, en particulier dans des domaines où une compréhension globale et équilibrée est cruciale.

Incroyable découverte : ces paléontologues identifient une nouvelle espèce de dinosaure prédateur nord-africain de 10 mètres de haut grâce à d’anciennes archives visuelles

De meilleures performances sur les systèmes juridiques, mais des faiblesses sur les discriminations

L’étude a également comparé les performances des modèles sur différentes thématiques historiques. Les IA ont obtenu leurs meilleurs scores sur des sujets liés aux systèmes juridiques et à la complexité sociale. Cependant, elles ont montré des faiblesses marquées sur des questions relatives aux discriminations et à la mobilité sociale. Ces sujets requièrent souvent une compréhension contextuelle et des nuances que les modèles ne parviennent pas encore à maîtriser.

La réussite des modèles dans le domaine juridique peut être attribuée à la nature systématique et bien documentée des lois et règlements. En revanche, les problèmes de discriminations et de mobilité sociale impliquent des dynamiques sociales complexes et des influences culturelles qui ne sont pas toujours capturées dans les données structurées. Cela met en évidence la nécessité pour les modèles d’IA d’intégrer une compréhension plus profonde des interactions humaines et des contextes culturels pour être véritablement efficaces dans ces domaines.

Vers une amélioration des outils et des données

Les chercheurs travaillent activement à affiner le benchmark utilisé pour évaluer ces modèles d’IA. Parmi les axes d’amélioration figurent l’élargissement des données pour inclure davantage de régions sous-représentées, notamment dans le Sud global, et l’intégration de questions historiques encore plus complexes. Jakob Hauser, le premier auteur de l’étude, a souligné l’importance de tester les prochains modèles, tels que o3, pour voir s’ils peuvent combler les lacunes identifiées.

Cette démarche vise à améliorer à la fois la précision des réponses et la gestion des biais. Les efforts actuels pour affiner ces outils offrent un potentiel considérable pour les recherches futures. Ils permettent non seulement d’accroître la performance des IA dans des domaines complexes, mais aussi d’élargir leur application à des contextes plus diversifiés. La collaboration entre chercheurs en sciences humaines et développeurs d’IA est essentielle pour relever ces défis, en tenant compte des besoins spécifiques de chaque domaine d’application.

Alors que les progrès de l’intelligence artificielle continuent de fasciner, cette étude souligne la nécessité d’une approche nuancée pour comprendre les capacités et les limites actuelles de ces technologies. Les modèles d’IA, bien qu’impressionnants dans certains domaines, sont encore loin de pouvoir remplacer une expertise humaine approfondie dans des disciplines comme l’histoire. La question demeure : comment les chercheurs et les développeurs peuvent-ils collaborer pour surmonter ces obstacles et permettre aux IA de véritablement comprendre et interpréter la complexité du passé humain ?