J’ai demandé à ChatGPT s’il connaissait Quetzalcóatl

ChatGPT fait la Une des médias depuis quelques semaines. Les promesses de cette intelligence artificielle sont incroyables, il est vrai. Elle peut répondre à n’importe quelle question en temps réel. J’ai testé ses connaissances concernant Quetzalcóatl… Et fait vérifier ses dires par des archéologues.

C’est un site Internet qui donne des sueurs froides aux professeurs. Il suffit de s’y connecter, de lui poser une question et il vous répond en temps réel. ChatGPT peut ainsi écrire des dissertations, rédiger des lignes de code, traduire des textes. Mais est-il calé en Histoire ? Connaît-il la Mésoamérique ? Pour en avoir le cœur net, je lui ai posé deux questions sur le dieu mythique Quetzalcóatl. Après de multiples tentatives, j’ai enfin réussi à me connecter sur le site. Ce dernier, depuis qu’il a été rendu public, est souvent saturé et donc inutilisable. Après avoir créé mon compte, je lui ai donc parlé…

Deux questions, des réponses étayées… mais non sourcées

«D’un point de vue historique et archéologique, peux-tu me dire qui était Quetzalcóatl ?», demandais-je à l’intelligence artificielle. «Bien sûr, Quetzalcoatl était une divinité majeure de la mythologie mésoaméricaine, particulièrement importante pour les civilisations préhispaniques de la Mésoamérique, notamment les Aztèques», me répond ChatGPT. Notez le «bien sûr», en début de phrase. La machine est sûre d’elle. D’ailleurs, l’intelligence artificielle déroule et continue sa réponse qui s’étale sur quatre paragraphes. Je lui pose alors une deuxième question : «Est-ce Quetzalcóatl qui est représenté à Teotihuacán ?» Là, encore, il me répond de manière argumentée et construite… Mais dit-il vrai ? Ou faux ?

«J’ai lu attentivement la réponse au sujet de Quetzalcóatl. Si, globalement, c’est correct, avec toutefois de petites erreurs (sur les dates de Teotihuacan, par exemple), cela reste très général et constitue plutôt un ensemble de pistes à suivre qu’une véritable réponse», note l’archéologue Éric Taladoire.

«Le texte est bien structuré mais ChatGPT fait beaucoup d’approximations, voire d’erreurs, à la première question. Il s’en tire mieux pour la seconde», souligne Sylvie Peperstraete, historienne spécialiste des religions du Mexique ancien et auteure d’un livre sur le Codex Borbonicus.

Le problème cependant est qu’il ne ne cite jamais ses sources. «Il ne justifie pas les raisons pour lesquelles il choisit une interprétation plutôt qu’une autre. Il synthétise ce qu’il trouve, sans qu’il y ait de véritable réflexion critique derrière», ajoute Sylvie Peperstraete. D’où puise-t-il son savoir ? Et bien, nous n’en savons rien. Il agglomère des informations sans que l’on sache précisément s’il va les chercher sur une encyclopédie en ligne, un site reconnu, un blog… Ces incertitudes ont poussé des scientifiques à s’interroger. Ils ont même mené une étude arrivant à la conclusion que ChatGPT propage des erreurs. «L’un des problèmes les plus immédiats pour la communauté des chercheurs est le manque de transparence», affirment-ils.

Les réponses corrigées par Sylvie Peperstraete

Sylvie Peperstraete s’est livrée à la correction des deux réponses de ChatGPT. Cliquez sur le lien ci-dessous pour afficher le texte et les corrections.

En conclusion, comme le dit si bien Sylvie Peperstraete : «Chat GPT peut donc tout de même être un bon outil, mais à condition de savoir l’exploiter correctement, c’est-à-dire de manière critique et en vérifiant systématiquement ce qu’il propose.»