Méthode et chiffres mesurés
Aucun détecteur de texte IA ne publie son taux de fausses alertes. Voici le nôtre, avec le corpus qui a servi à le mesurer et les cas où notre outil échoue complètement.
Le principe
Un modèle de langue attribue à chaque mot d'un texte une probabilité, compte tenu des mots précédents. Un texte produit par une machine est en moyenne plus prévisible qu'un texte humain. C'est l'idée derrière la plupart des détecteurs, et prise seule elle ne marche plus : un texte humain technique, administratif ou scolaire est prévisible lui aussi, et se fait accuser à tort.
Nous utilisons une méthode qui corrige ce défaut, publiée en 2024 sous le nom de Binoculars. Elle fait lire le texte par deux modèles de la même famille, un modèle brut et sa version entraînée à suivre des instructions, puis divise la surprise du premier par le désaccord entre les deux. Ce rapport annule la difficulté propre au texte : un passage ardu surprend les deux modèles de la même façon, et le rapport reste stable. Ce qui subsiste est la régularité propre à la machine.
Un score bas signale un texte suspect. Le seuil qui sépare les deux cas n'a rien d'universel : il dépend de la langue, des modèles utilisés et du matériel. Nous l'avons donc mesuré nous-mêmes, sur du français.
Ce que nous faisons tourner
Les deux modèles sont CroissantLLM, un modèle franco-anglais ouvert de 1,3 milliard de paramètres, dans ses versions Base et Chat. Nous les exécutons en précision 16 bits avec llama.cpp, sur notre propre serveur. Aucun texte n'est envoyé à une API extérieure, ni à OpenAI, ni à Mistral, ni à personne.
L'analyse porte sur les 512 premiers jetons, soit environ 380 mots. Les textes plus longs sont tronqués. Nous avons vérifié qu'aller jusqu'à 1024 jetons n'apportait rien de mesurable.
Le corpus humain
1800 textes français, tous écrits avant 2022, donc avant que la rédaction assistée ne se répande. Ils sont tirés de projets encyclopédiques libres, dans leurs versions archivées de cette période, et répartis en six genres de 300 textes chacun, de 150 à 600 mots.
| Genre | Ce qu'il représente |
|---|---|
| Encyclopédie | prose documentaire soignée et relue |
| Discussion | français spontané, argumentatif, non relu |
| Pédagogie | cours et manuels, proche de l'écrit scolaire |
| Vulgarisation | phrases courtes, vocabulaire simple |
| Voyage | prose pratique et descriptive |
| Actualité | écriture journalistique brève |
Ce dernier point compte : le genre vulgarisation a été inclus volontairement parce que l'écriture simple est celle que les détecteurs accusent le plus souvent à tort. C'est le cas des élèves et des personnes dont le français n'est pas la langue maternelle.
Le corpus IA
554 textes produits en septembre 2026 par quatre modèles : Mistral Small, GPT-4.1-mini, GPT-5.6 et GPT-6. Chaque texte porte sur le même thème et vise la même longueur qu'un texte humain du corpus, dans le même registre documentaire. Sans cet appariement, un détecteur apprend à reconnaître des sujets plutôt que des machines, et le résultat est flatteur mais faux.
Quatre façons de produire ont été testées, à parts égales : rédaction directe, rédaction avec consigne d'écrire comme un humain, réécriture par l'IA d'un texte humain existant, et traduction depuis l'anglais.
Le réglage du seuil
Un détecteur se règle sur un arbitrage : plus il signale, plus il se trompe. Nous avons choisi le réglage le plus prudent mesurable sur notre corpus.
| Fausses alertes tolérées | Textes IA retrouvés |
|---|---|
| 10 % | 53,8 % |
| 5 % | 47,3 % |
| 2 % | 43,7 % |
| 1 % | 41,0 % |
| 0,5 % | 38,3 % |
| 0,1 % (retenu) | 33,4 % |
Passer de 10 % à 0,1 % de fausses alertes ne coûte que vingt points de détection, et divise par cent le risque d'accuser quelqu'un à tort. L'arbitrage n'était pas difficile.
Ce qui se passe juste au dessus du seuil
Un seuil unique impose un choix brutal : à un millième près un texte est signalé ou ne l'est pas, et deux textes que tout rapproche repartent avec des messages opposés. Nous avons donc mesuré ce que vaut la zone située immédiatement au dessus du seuil, au lieu d'y répondre par le même silence qu'à un texte manifestement humain.
| Bande de score | Textes humains | Textes IA | Rapport |
|---|---|---|---|
| Sous 0,8073 (signalé) | 2 sur 1800 | 185 sur 554 | 300 fois |
| 0,8073 à 0,8396 | 16 sur 1800 | 42 sur 554 | 8 fois |
| 0,8396 à 0,8553 | 18 sur 1800 | 15 sur 554 | 2,7 fois |
La colonne de droite se lit ainsi : un texte tombé dans cette bande a tant de fois plus de chances de venir d'une machine que d'une personne, d'après nos deux corpus. Sous le seuil le rapport vaut 300, et c'est pour cela que nous signalons. Dans la bande suivante il tombe à 8, ce qui reste net mais n'autorise aucune accusation. Dans celle d'après il tombe à 2,7, où il ne distingue plus grand-chose.
Nous nous arrêtons donc à 0,8396, exactement là où l'information s'effondre. Un texte de cette bande reçoit un message à part, qui dit ce que nous avons mesuré et rappelle que nous ne le signalons pas. En calculant l'intervalle de confiance des deux proportions et en retenant de chaque côté la valeur la plus défavorable, le rapport de 8 ne descend pas sous 3,9. C'est cette borne prudente, et non les 8 fois, qui nous a décidés à afficher quelque chose.
Sur un texte signalé comme sur un texte de cette bande, nous affichons aussi un comptage direct : combien de nos 1800 textes humains obtiennent un score aussi bas ou plus bas que le vôtre. C'est le chiffre le plus facile à contredire, et la liste complète des 1800 scores humains est publiée pour que vous puissiez le recompter.
Les fausses alertes, genre par genre
Sur les 1800 textes humains, deux ont été signalés à tort, soit 0,111 %. L'intervalle de confiance à 95 % va de 0,03 % à 0,40 %, ce qui nous autorise à annoncer moins de 0,5 %.
| Genre | Textes | Fausses alertes |
|---|---|---|
| Encyclopédie | 300 | 1 (0,33 %) |
| Pédagogie | 300 | 1 (0,33 %) |
| Actualité | 300 | 0 |
| Discussion | 300 | 0 |
| Voyage | 300 | 0 |
| Vulgarisation | 300 | 0 |
Avec 300 textes par genre, un taux nul ne prouve pas l'absence totale de fausses alertes : il garantit seulement qu'elles restent sous environ 1,3 % pour ce genre. Nous préférons l'écrire plutôt que de laisser croire à un zéro absolu.
Ce que nous détectons, et ce que nous ne détectons pas
C'est ici que notre outil se distingue de ce que vous lirez ailleurs, parce que nous publions aussi les chiffres qui nous desservent.
| Modèle ayant écrit le texte | Textes | Retrouvés |
|---|---|---|
| GPT-4.1-mini | 160 | 60,6 % |
| Mistral Small | 160 | 54,4 % |
| GPT-5.6 | 174 | 0,6 % |
| GPT-6 | 60 | 0,0 % |
Lisez bien la dernière ligne. Sur 60 textes écrits par le modèle le plus récent, nous n'en avons retrouvé aucun. Sur 174 textes de la génération précédente, un seul.
Autrement dit, notre outil sait reconnaître les textes produits par les modèles d'il y a un an ou deux, ceux des offres gratuites et des intégrations anciennes. Il est aveugle aux modèles actuels. Tout détecteur qui vous promet le contraire aujourd'hui vous dit quelque chose qu'il n'a pas mesuré.
| Manière de produire le texte | Textes | Retrouvés |
|---|---|---|
| Traduit depuis l'anglais | 139 | 50,4 % |
| Rédigé directement | 138 | 47,8 % |
| Rédigé avec consigne de style humain | 138 | 35,5 % |
| Texte humain réécrit par l'IA | 139 | 0,0 % |
La dernière ligne est un mur, pas un réglage à améliorer. Quand une IA reformule un texte écrit par une personne, le résultat garde la structure, le rythme et les choix de l'auteur d'origine. Il n'y a presque rien à mesurer. Demander une reformulation suffit donc à passer notre outil, et tous les autres.
La longueur du texte ne change rien
Nous avons longtemps cru le contraire, et nous l'avions écrit ici. C'était faux, pour une raison instructive expliquée juste après ce tableau.
| Longueur | Textes IA retrouvés |
|---|---|
| Moins de 200 mots | 34,2 % |
| 200 à 350 mots | 33,1 % |
| 350 à 600 mots | 33,3 % |
| Plus de 600 mots | 33,3 % |
La détection est plate, autour d'un tiers, que le texte fasse 180 mots ou 800. Nos premières mesures montraient pourtant une progression nette, de 30,4 % à 40,7 %. Cette progression était un artefact, et voici lequel.
Nos textes humains proviennent de sources encyclopédiques et nous sont arrivés sur une seule ligne, sans aucun saut de paragraphe. Les textes produits par les modèles en contiennent presque tous, et d'autant plus qu'ils sont longs. Or un saut de paragraphe est un jeton très prévisible, qui fait baisser le score. Notre outil ne mesurait donc pas seulement l'écriture, il mesurait aussi la mise en page, et il la trouvait chez la machine parce que notre corpus humain n'en avait aucune.
Nous avons corrigé en aplatissant tous les blancs, dans le corpus comme en production. Les scores des 1800 textes humains n'ont pas bougé d'un millième, puisqu'ils étaient déjà plats : le seuil reste donc exactement valide. La détection annoncée, en revanche, tombe de 34,8 % à 33,4 %. Nous ne perdons pas ce point et demi, nous constatons qu'il ne nous revenait pas.
Conséquence pratique pour vous : la mise en forme du texte que vous soumettez n'a aucune influence sur le résultat. Avec ou sans paragraphes, même verdict.
Nous exigeons tout de même 150 mots au minimum, non pas parce que la détection y serait moins bonne, mais parce que notre corpus ne descend pas en dessous. Nous n'avons rien mesuré à cette longueur, donc nous ne promettons rien.
Le surlignage des passages
Quand un texte est signalé, nous montrons les passages qui ont le plus contribué au résultat. Le score global est une moyenne calculée sur tous les jetons du texte ; le score d'une phrase applique exactement la même formule aux seuls jetons de cette phrase. Les passages surlignés sont donc, au sens strict, ceux qui ont tiré la moyenne vers le bas.
Ce n'est pas un verdict phrase par phrase, et nous ne l'affichons jamais sur un texte non signalé. La raison est mesurable : parmi nos textes humains non signalés, il se trouve régulièrement des phrases isolées dont le score passe sous le seuil, sans que personne n'ait utilisé de machine. Une phrase fait vingt mots, c'est trop peu pour que le rapport soit stable. Un surlignage affiché en permanence accuserait donc des auteurs humains, ce que ce site refuse de faire.
Les phrases de moins de dix jetons sont écartées, faute de matière, et le surlignage ne porte que sur les 380 premiers mots, seule partie réellement analysée.
L'analyse par tranches
Nous n'analysons que 380 mots à la fois. Sur un texte plus long, un bouton permet de poursuivre sur la tranche suivante, puis la suivante. Chaque tranche fait entre 150 et 380 mots, donc exactement le format sur lequel le seuil a été calibré : la mesure appliquée à une tranche est la mesure elle-même, pas une approximation.
Il faut cependant lire le bon chiffre. Le taux de 0,111 % vaut par tranche, et il ne change pas quand on en teste plusieurs. Ce qui change, c'est la probabilité qu'au moins une tranche d'un texte entièrement humain soit signalée à tort : elle vaut environ 0,22 % sur deux tranches, 0,44 % sur quatre, 0,89 % sur huit. C'est le même raisonnement que pour un dé, dont la probabilité de tomber sur six reste d'un sixième à chaque lancer alors que celle d'obtenir au moins un six sur huit lancers dépasse trois quarts.
La détection progresse dans le même mouvement, et bien plus vite. Sur un texte produit par un modèle de 2024 ou 2025, elle passe d'environ 33 % sur une tranche à près de 96 % sur huit. Découper un texte long est donc un très bon échange, à condition d'annoncer les deux chiffres, ce que nous faisons dès la deuxième tranche.
Ces valeurs supposent les tranches indépendantes, ce qu'elles ne sont pas tout à fait puisqu'il s'agit du même auteur d'un bout à l'autre. Les taux réels seront un peu plus bas des deux côtés. Enfin, découper ne change rien sur les modèles récents : huit fois zéro fait toujours zéro.
Comment nous avons vérifié notre propre code
Un calcul faux peut produire des chiffres crédibles. Nous avons donc mesuré deux fois, avec deux implémentations indépendantes : une première en PyTorch sur carte graphique, une seconde avec llama.cpp sur processeur, celle qui sert réellement vos analyses. Sur les mêmes textes, la corrélation entre les deux séries de scores est de 0,9995, et les résultats finaux coïncident : aire sous la courbe de 0,792 contre 0,793, détection de 35,0 % contre 34,8 %. Ces deux derniers chiffres sont ceux d'avant la normalisation des blancs décrite plus haut ; c'est une comparaison de code, pas une mesure de performance.
Le seuil publié ici a été calculé sur la seconde implémentation, celle qui tourne en production. Calibrer un chemin de calcul et en déployer un autre reviendrait à annoncer un taux d'erreur qui ne serait pas celui que vous obtenez.
Nos limites, en clair
Notre corpus humain provient de projets encyclopédiques libres. Il couvre six genres, mais pas tous les français possibles : il manque notamment du texte écrit par des personnes dont le français n'est pas la langue maternelle, population précisément la plus exposée aux fausses accusations. Nous ne savons pas mesurer ce cas aujourd'hui, et nous ne prétendrons pas le contraire.
Nos chiffres datent de septembre 2026. Chaque nouvelle génération de modèles les dégrade. Nous les remesurerons, et nous les republierons ici, y compris s'ils empirent.
Enfin, ces taux valent pour un corpus, pas pour votre texte. Un résultat individuel reste un indice.
Référence
La méthode est décrite dans Hans et al., Spotting LLMs With Binoculars: Zero-Shot Detection of Machine-Generated Text, 2024, disponible sur arXiv. Le modèle CroissantLLM est publié par son équipe sur Hugging Face.
Pour une lecture plus générale de ces résultats : peut-on encore détecter un texte écrit par une IA en 2026 ?
Une question sur ces mesures, ou un désaccord argumenté : écrivez-nous.
