Comment détecter un texte généré par une IA comme ChatGPT : outils et méthodes

Qu’est-ce qu’un bon usager de ChatGPT

ChatGPT est l’outil le plus populaire du moment : il permet de générer des textes facilement, via une interface web ou une API. Les applications sont nombreuses et ouvrent de nouveaux horizons. Bien qu’une technologie soit neutre par nature, son usage peut être vu positivement ou être plus sujet à discussion.

• Est-ce légitime, pour un professionnel du SEO, de générer des textes afin de créer des sites web dans le seul but de bien se positionner sur des mots clés ?
• Est-ce légitime, pour un étudiant, de demander à ChatGPT de répondre à la question posée par un professeur dans le cadre d’une dissertation ?

Au-delà du jugement du bon usage d’un outil, il semble désormais utile, pour un grand nombre de particuliers et de professionnels, d’être en mesure de savoir si un texte a été créé par une vraie personne ou s’il a été généré à l’aide d’une technologie basée sur l’intelligence artificielle, comme ChatGPT.

En savoir plus sur ChatGPT

Le générateur de texte par intelligence artificielle d'OpenAI

2 outils gratuits pour repérer les textes créés avec une IA

La manière la plus simple de savoir si un texte a été conçu par une intelligence artificielle est d’utiliser un outil d’analyse. En voici deux, testés et approuvés.

GPTZero Classic

GPTZero Classic est aujourd’hui l’outil de référence pour détecter un texte créé par ChatGPT. Pour l’utiliser, rendez-vous sur le site officiel et cliquez sur Try it. Copiez-collez le paragraphe ou le texte à vérifier, jusqu’à 5 000 caractères. Appuyez sur Ctrl+Entrée : l’outil vous donne alors des informations précieuses, vous permettant d’évaluer la probabilité d’une rédaction générée par la technologie GPT-3.

Vous obtenez notamment un score de perplexité, qui correspond au caractère aléatoire d’un contenu. Un humain aura tendance à écrire des contenus moins prévisibles qu’une machine. L’indicateur est élevé ? Alors il s’agit sûrement d’un contenu rédigé par un humain. Dans le cas contraire, c’est sûrement ChatGPT. GPTZero Classic attribue un score de perplexité par phrase pour affiner l’analyse. En bas de la page, vous n’avez plus qu’à cliquer sur « Get GPTZero Result » pour obtenir une réponse fermée : ce texte a sûrement été écrit par un humain, ou ce texte a sûrement été écrit par une intelligence artificielle.

Draft & Goal

Cet outil fait beaucoup parler de lui – malheureusement, sa capacité se limite pour l’instant à l’analyse de textes en anglais. Mais ses développeurs indiquent que les contenus en français pourront être vérifiés dans les prochains jours. Nous l’avons donc testé en utilisant un extrait d’article d’un média tech que nous ne nommerons pas, récemment épinglé pour son usage de ChatGPT. Et effectivement…

Draft & Goal n’explique pas le résultat obtenu comme GPTZero. Au niveau de sa méthodologie, il est indiqué qu’il « analyse les différentes empreintes digitales laissées par les modèles IA [pour] déterminer si un texte a été écrit par une IA ou un humain ». Nous avons également testé des textes générés par ChatGPT et retouchés par des rédacteurs, les taux étaient alors aux alentours des 50 %.

Nous avons testé d’autres outils mais les résultats ne semblaient pas aussi pertinents que ceux proposés par les deux services en ligne présentés ici.

5 indices pour repérer les textes générés par ChatGPT

Les outils permettent d’analyser de nombreux textes facilement. Mais vous pouvez aussi réaliser une analyse humaine des contenus. Et pour cela, il est intéressant de comprendre le fonctionnement – et les limites – de ChatGPT.

• La base de connaissance de ChatGPT s’arrête en 2021. Si le texte évoque des événements survenus en 2022 ou 2023, la probabilité qu’il ait été rédigé par un humain est très important. À l’inverse, si vous demandez à un étudiant, une présentation du patron de Twitter et qu’il vous raconte la vie de Jack Dorsey, cela devrait vous mettre la puce à l’oreille…
• ChatGPT connaît beaucoup de sujets, mais peu en profondeur. Dans toute conception informatique, il faut faire des choix. Et celui des développeurs de ChatGPT est pragmatique : mieux vaut connaître beaucoup de sujets en surface, pour répondre à la plupart des questions, que de connaître peu de sujets en profondeur. Les contenus créés avec cette intelligence artificielle sont donc dénués de détails précis, mais également de mots complexe, rares, anciens ou très spécifiques au sujet traité. ChatGPT pourra faire illusion au collège voire au lycée, mais à la faculté… cela risque d’être plus compliqué.
• ChatGPT n’est pas en mesure d’imiter le style d’écriture d’un humain. Bien qu’il soit possible de demander à ChatGPT de rédiger « à la manière de », son style d’écriture restera bien souvent plat, sans couleur marquée. La rédaction est souvent froide, sans humanité, et nécessairement sans les références personnelles qu’un auteur pourrait intégrer dans son contenu.
• Les textes générés par ChatGPT peuvent se ressembler. Cette propriété peut intéresser les professeurs qui corrigent des travaux. Les constructions grammaticales sont identiques d’une copie à l’autre ? Le raisonnement est parfaitement similaire ? Elles ont peut être été réalisées avec ChatGPT, par des étudiants qui ont relativement peu personnalisé leur requête (prompt).
• ChatGPT ne fait pas de faute d’orthographe. En soi, c’est une bonne chose. Mais cela peut aussi pousser les lecteurs à se poser quelques questions. La langue française est suffisamment compliquée pour que des coquilles soient acceptées. Cette propriété est en revanche facile à tromper, car il suffit d’intégrer un petite faute dans un contenu généré par une IA pour faire illusion d’humanité.

Ces différentes propriétés – et ces quelques outils – devraient vous permettre de repérer plus facilement un texte généré à l’aide de l’intelligence artificielle. Gardez simplement en tête que ces méthodes ne sont pas parfaites : un rédacteur pourra toujours paraphraser en profondeur les résultats obtenus par ChatGPT grâce à des requêtes bien pensées. Et avec l’évolution rapide de ces technologies, les textes générés par des IA risquent d’être de plus en plus complexes à détecter…