ChatGPT AI écrit si bien qu'il pourrait tromper les scientifiques - 1

ChatGPT pourra tromper les évaluateurs scientifiques. Ce niveau de complexité pourrait provoquer une crise d’intégrité scientifique, avertissent les auteurs de la nouvelle étude.

Crédit : Albund / 123RF

La popularité du nouveau chatbot ChatGPT n’a fait que croître depuis son lancement il y a quelques mois, en partie grâce à ses performances exceptionnelles. Les chercheurs ont donc voulu savoir s’il pouvait tirer de manière convaincante de fausses conclusions qui pourraient tromper les scientifiques en leur faisant croire que la recherche était réelle.

Pour ce faire, des chercheurs de la Northwestern University et de l’Université de Chicago ont demandé à ChatGPT de générer de faux résumés de recherche à partir de 10 vrais résumés publiés dans des revues médicales et ont soumis les faux articles avec les scientifiques véridiques. Elles avaient pour but de distinguer le vrai du faux, et le moins que l’on puisse dire, c’est que les résultats sont alarmants.

Voir aussi : Microsoft adore ChatGPT et propose 10 milliards de dollars pour devenir actionnaire quasi-majoritaire.

Les scientifiques ne peuvent pas distinguer les rapports réels des rapports écrits par chatGPT

Les réviseurs humains qui ont reçu un mélange de vrais et de faux bulletins n’ont pu détecter les bulletins générés par ChatGPT que 68 % du temps. Les examinateurs ont également identifié à tort 14 % des CV réels comme étant générés par l’IA.

Les chercheurs ont également soumis des articles écrits par chatGPT à un logiciel de détection de plagiat. Si 100% d’entre eux étaient effectivement uniques, puisque chatGPT génère des réponses sans recopier la source, seuls 8% d’entre eux répondaient aux exigences de formatage des revues scientifiques.

Ainsi, ChatGPT n’est pas encore près de remplacer les rédacteurs dans tous les domaines, mais le chatbot devrait faire des progrès significatifs dans les prochaines années. Les publications scientifiques académiques reposent sur le processus de soumission et d’examen des articles par des experts humains dans leurs domaines respectifs, mais s’ils ne peuvent plus faire la distinction entre les articles générés par l’IA et les articles générés par l’homme, cela pourrait mettre en danger de nombreuses professions.

Pour l’instant, les chercheurs exhortent les revues médicales et les conférences qui s’appuient sur la recherche scientifique à maintenir des « normes scientifiques rigoureuses » et à mettre en œuvre des détecteurs de sortie d’IA lors de l’examen des articles. L’étudiant a également développé un logiciel pour savoir si le texte a été généré avec chatGPT.