ChatGPT : de mauvais usages débusqués dans des articles scientifiques

Des outils, il y en a eu d’autres, Grammarly ou DeepL, mais ChatGPT est désormais le plus connu, parce qu’il est très pratique et qu’il fait gagner beaucoup de temps, notamment dans la rédaction des articles scientifiques.

Pour avoir un ordre d’idée, une publication scientifique, c'est grosso modo une quinzaine de pages dans lesquelles on retrouve différentes parties : une longue introduction avec un état de l’art du sujet, ensuite la méthodologie de l’étude, les résultats, la discussion de ces mêmes résultats. Le tout rédigé en anglais académique bien sûr. ChatGPT peut donc être un outil formidable : on lui soumet une requête et il y répond de manière synthétique, cela peut aller de la recherche bibliographique à la fabrication de contenu, donnez-lui un texte et il en supprimera les redondances, par exemple.

Des erreurs grotesques

Seulement, certains scientifiques n’ont pas estimé judicieux de relire ce qu’avait généré ChatGPT avant de l’utiliser. C’est ce qu’ a débusqué  Guillaume Cabanac, dont  c'est le métier. Il est enseignant-chercheur en informatique à l’ Université Paul Sabatier de Toulouse :

"Parfois les auteurs ne sont pas satisfaits du résultat, dans ce cas, ils peuvent cliquer sur le bouton 'Regenerate Response', qui veut re-générer la réponse. On peut cliquer autant de fois qu'on veut, le texte va être retravaillé par le système, on va obtenir des versions différentes jusqu'à satisfaction. Et à ce moment que je me suis rendu compte que certaines personnes faisaient copier-coller non pas uniquement du résultat, mais du résultat et du bouton dans l’interface indiquant 'régénérer la réponse'. Ou alors 'en tant qu'IA, je ne peux pas répondre à votre question', ce qui signifie que les auteurs ont utilisé ChatGPT pour obtenir une réponse, qu’ils ont jugée satisfaisante, à tel point qu’ils l'ont copié-collée telle quelle et ce sont ces phrases-là que l’on retrouve dans des articles publiés dans des revues qui sont produites par la haute couture de l’édition scientifique aujourd’hui."

On imagine aisément qu’il s’agit uniquement de la partie émergée de l’iceberg. D’autres exemples tout aussi consternants : ChatGPT remplace parfois des expressions et en invente, comme le terme “cancer du sein” qui après paraphrase et synonyme devient…  "péril de poitrine" ! Terme qui n'a rien de scientifique.

Personne pour relever ces mésusages

L’intégralité de la chaîne de publication a failli. Les co-auteurs n’ont pas vu ces erreurs grotesques, l’éditeur du journal non plus, les reviewers — c'est-à-dire les experts du domaine qui ont pour rôle de relire — pas vu non plus. Et on parle de revues connues, qui ont pignon sur rue ! Ce qui pose la question d’abord de leur rôle en tant que gardien de la connaissance, mais aussi du contenu même des articles scientifiques.

Guillaume Cabanac : "Lorsqu'on trouve une de ces erreurs dans l’article, que peut-on penser par la suite des expérimentations ? Y a-t-il vraiment eu 15 souris ? Y a-t-il réellement eu 25 femmes enceintes ? Y a-t-il vraiment eu une cohorte de personnes qui avaient telle ou telle maladie, on ne peut qu'en douter. On ne peut que penser que si les auteurs ont fabriqué du texte avec une machine en introduisant des erreurs consternantes, on ne peut que penser que leur méticulosité n’est pas au rendez-vous, on ne peut que penser qu’ils ont peut-être aussi trafiqué, arrangé la partie méthode, la partie résultat et c’est pour ces raisons-là que ces articles sont bien souvent rétractés par les maisons d’édition."

Mais le retrait des articles ne suffit pas, car encore faut-il en avoir connaissance pour ne plus jamais les citer à l’avenir. C’est ce à quoi participe "Retraction Watch" aux États-Unis  qui vient tout juste de publier une gigantesque base de données pour rendre plus facile d’accès ces retraits d’articles.

Reste que bannir ChatGPT n’aurait pas de sens, les scientifiques peuvent en faire un bon usage, il suffit d’indiquer comment cet outil a été utilisé directement dans l’article. Et à moi de préciser que cette chronique et les précédentes n’ont pas été réalisées avec l’aide de ChatGPT.