Le 21 octobre 2026, les Éditions du Boréal (Montréal) ont publié un communiqué annonçant avoir rompu tout lien avec Thélison Orélien, auteur du roman C’était ça ou mourir, pour rupture de confiance. Les résultats de leurs recherches auraient révélé la présence de métadonnées (1) d’IA dans le manuscrit soumis par l’écrivain.
Lien du communiqué :
Je poursuis donc ma petite enquête sur la fiabilité des détecteurs d’IA. Cette fois, j’ai choisi au hasard trois extraits de C’était ça ou mourir et les ai soumis à neuf détecteurs d’IA.
Extrait 1 : p. 13, de « Je vous jure » à « d’histoire », soit 208 mots.
Extrait 2 : p. 104-105, de « Le premier jour » à « continuer. », soit 376 mots.
Extrait 3, p. 198-199, de « Je savais » à « mis dehors. », soit 536 mots.
Voici les résultats :
|
|
Extrait 1 |
Extrait 2 |
Extrait 3 |
|||
|
|
Humain |
IA |
Humain |
IA |
Humain |
IA |
|
Pangram |
0% |
100% |
0% |
100% |
28% |
72% |
|
Grammarly |
0% |
100% |
0% |
100% |
22% |
78% |
|
Lucide.ai (1) |
0% |
100% |
0% |
100% |
40% |
60% |
|
GoWinston |
2% |
98% |
0% |
100% |
37% |
63% |
|
TextDefend |
29% |
71% |
30% |
70% |
33% |
67% |
|
Quillbot |
100% |
0% |
100% |
0% |
100% |
0% |
|
Copyleaks |
0% |
100% |
0% |
100% |
100% |
0% |
|
Scribbr |
100% |
0% |
100% |
0% |
100% |
0% |
|
AIDetector |
95% |
5% |
97% |
3% |
100% |
0% |
Comme dans mon enquête précédente, les résultats sont très divergents (voir https://carnetdunlinguiste.blogspot.com/2026/09/peut-on-faire-confiance-aux-detecteurs.html). Ce qui laisse planer un doute sur la fiabilité des détecteurs d’IA ou du moins sur certains d’entre eux.
Pour l’Extrait 1, 5 détecteurs considèrent qu’il a été rédigé par une IA (GoWinston à 98%). Mais 2 considèrent qu’il s’agit d’une écriture humaine (AIDetector à 98%), tandis que TextDefend pense qu’il a été écrit à 29% par un humain et à 71% par une IA.
On a donc 3 cas de figure : pour les uns, il s’agit d’IA à 100%, pour les autres, d’écriture humaine à 100%, et pour un troisième, d’un mix d’écriture humaine et d’IA.
On peut faire les mêmes constatations pour l’Extrait 2 : 5 détecteurs considèrent qu’il s’agit d’IA ; 3, d’une écriture humaine ; 1, d’un mix humain/IA.
Cependant, on observe un changement notable pour l’Extrait 3 : 4 détecteurs considèrent qu’il s’agit d’une écriture humaine à 100%, tandis que les 4 qui étaient plus « sévères » pour les Extraits 1 et 2, les attribuant uniquement à une IA, proposent, dans ce cas, un mix humain/IA (entre 30% et 40% pour l’écriture humaine).
On remarque que Pangram, Grammarly, Lucide.ai et GoWinston affichent, dans tous les cas, des résultats semblables (100% d'IA pour les Extraits 1 et 2, entre 28% et 40% d’écriture humaine pour l’Extrait 3). De même, Quillbot, Scribbr et AIDetector donnent des réponses similaires (100% humain pour les 3 Extraits), tandis que se démarque Copyleaks, qui détecte 100% d’IA dans les Extraits 1 et 2 et 100% d’écriture humaine dans l’Extrait 3. TextDefend aussi se démarque, qui détecte dans les 3 cas environ 30% d’écriture humaine.
Conclusion :
Visiblement les algorithmes de ces détecteurs d’IA ne détectent pas les mêmes choses ni de la même manière.
Il y a 3 ou 4 groupes de détecteurs aux résultats identiques ou semblables : un groupe comprend Pangram, Grammarly, Lucide.ai et GoWinston ; un deuxième, Quillbot, Scribbr et AIDetector. TextDefend et Copyleaks, chacun de son côté, font bande à part.
Comment savoir qui a raison ? Mais est-ce que certains ont « plus raison » que d’autres ?
Y a-t-il un moyen plus affûté de vérifier la fiabilité d’un détecteur d’IA ? (Tous préviennent qu’ils peuvent se tromper et qu’il ne faut pas prendre de décisions graves sur la seule base de leurs résultats). Est-ce que l'étude des métadonnées permet de repérer à coup sûr la présence d'une IA ?
Je reste donc perplexe.
Mots-clés : Thélison Orélien, roman, C’était ça ou mourir, détecteurs d’IA, benchmark, Pangram, Grammarly, Lucide.ai, GoWinston, TextDefend, Quillbot, Copyleaks, Scribbr, AIDetector.
(1) Les métadonnées sont, selon Wikipédia, « au moins quinze éléments, répartis autour de trois domaines, [qui] permettent d'identifier et de décrire les ressources documentaires. Le domaine du contenu regroupe des informations telles que le titre, le sujet, la description, la source, la langue, la relation et la couverture. Le domaine de la propriété intellectuelle inclut le créateur, l'éditeur, le contributeur et les droits (droits d'auteur, etc.). Enfin, le domaine de la matérialisation concerne la date, le type, le format, et l'identifiant. »
(2) Lucide.ai indique accorder à ses diagnostics « une confiance faible » à cause de la faible longueur des Extraits 1 et 2 (moins de 500 mots).
I
Aucun commentaire:
Enregistrer un commentaire