Pangram 4 : comment il lit un document et comment lire le résultat

Pourquoi ce que dit le schéma m'importe

Je construis des agents IA chez eesel, ce qui veut dire que je lis les fiches modèles comme d'autres lisent des notes de version, et j'ai l'occasion de voir ce qui se passe quand un détecteur vit dans un vrai pipeline plutôt que dans une boîte de démo.

Chaque brouillon produit par le rédacteur de blog d'eesel passe par un filtre de détecteur avant qu'un humain ne le voie. Ce n'est pas un petit échantillon. Un client, un responsable de contenu SEO sur un CMS Webflow, fait tourner un pipeline du mot-clé à la publication à plus de 360 articles par mois, environ 12 par jour, avec relecture et publication groupées à la fin. À ce rythme, « le détecteur dit 84 % » ne sert à rien, alors que « ces quatre paragraphes se lisent comme assistés par IA, le reste est propre » est exploitable. Pour moi, le schéma est donc le produit, et Pangram 4 est la première version où le schéma est la fonctionnalité phare.

Ce volume est aussi la raison pour laquelle je lis la section des limites avant celle des résultats. Un détecteur intégré dans un pipeline de contenu IA reçoit des entrées sur lesquelles il n'a jamais été testé, et l'échec est silencieux : il renvoie un chiffre pour une entrée hors de son périmètre déclaré, et ce chiffre a exactement l'air d'un vrai.

L'équipe eesel a passé des années à mettre de l'IA sur des files d'attente réelles et à observer des modèles à l'air sûr d'eux se tromper de façons qui ne se voient qu'à l'échelle, et c'est le même réflexe que j'applique à une affirmation de 0,0041 %. Pas de la méfiance. Juste l'habitude de lire d'abord la note de bas de page.

Ce qu'est réellement Pangram 4

Pangram Labs est une entreprise de Brooklyn, fondée en 2023, avec une équipe de 11 à 50 personnes. Max Spero (CEO) et Bradley Emi (CTO) se sont rencontrés en première année de résidence universitaire à Stanford et ont ensuite construit le classificateur ensemble, selon l'histoire racontée par Pangram lui-même. L'entreprise détient la certification SOC 2 Type 2, vérifiée par AssuranceLab.

Pangram 4 a été lancé le 29 juillet 2026, et le même jour est arrivée une levée de 9 millions de dollars menée par Menlo Ventures, ainsi qu'un premier modèle de détection d'images IA présenté comme un aperçu de recherche. Le modèle dispose d'une fiche modèle publiée et d'un rapport technique sur arXiv sous la référence 2607.27183, ce qui représente plus de transparence que la plupart des acteurs de cette catégorie.

Le positionnement est direct et combatif. Le titre de la page d'accueil est « An AI detector that actually works » (un détecteur d'IA qui fonctionne vraiment), et le sous-titre revendique une précision de 99,98 %. Il faut noter que le site cite plusieurs chiffres de précision différents selon la page sur laquelle on atterrit : 99,98 % dans le bandeau principal, 99,9 %+ dans la bande de badges, « plus de 99 % » dans la FAQ, et un taux de faux positifs de 1 sur 10 000 dans une entrée de FAQ différente du chiffre de 1 sur 24 000 figurant sur la fiche modèle. Ce ne sont pas exactement des contradictions, ce sont des mesures différentes présentées avec la même assurance, ce qui est la première raison d'aller voir la fiche modèle plutôt que la page marketing.

Comment Pangram 4 lit un document

C'est la partie qui distingue Pangram 4 de son propre prédécesseur, et tout est documenté.

Comment Pangram 4 passe d'un document collé à un verdict par passage, tel que décrit dans sa fiche modèle.

Le socle est « un modèle de langage causal, à poids ouverts, à mélange d'experts épars ». Pangram ne nomme pas le modèle de base et ne publie aucun nombre de paramètres. L'entraînement a duré quatre jours sur huit GPU NVIDIA H100, avec PyTorch et les bibliothèques Hugging Face, selon un processus LoRA en deux étapes où le premier adaptateur est fusionné dans le socle avant que la seconde étape ne commence.

Quatre têtes linéaires reposent sur la représentation partagée :

• Une tête de segment à 15 classes estimant le niveau global d'implication de l'IA dans une fenêtre de texte.
• Une tête de provenance token par token à trois classes prédisant Human, AI-Assisted ou AI-Generated pour chaque token.
• Une tête binaire d'autorat mixte estimant si un segment contient du texte de provenance mixte.
• Une tête « humanizer » à quatre classes séparant les textes Human, AI-Generated, AI-Edited et Humanized-AI.

La tête « humanizer » est entraînée comme une sonde à gradient arrêté, si bien que son objectif ne met jamais à jour le socle partagé. Elle ne vote pas non plus sur l'étiquette finale : la fiche modèle est explicite, à l'étape de décodage, « les preuves de l'humanizer ne contribuent pas ». Donc is_humanized est un canal séparé que l'on lit à part, pas une entrée du verdict.

L'inférence fonctionne sur une fenêtre de 512 tokens, ce qui signifie que les documents plus longs sont découpés en fenêtres qui se chevauchent, et les prédictions pour les tokens apparaissant dans plusieurs fenêtres sont alignées puis moyennées. Un champ aléatoire conditionnel en chaîne linéaire à trois états et calibré combine ensuite les observations token par token, par segment et d'autorat mixte sur l'ensemble du document, le décodage de Viterbi choisit la séquence d'étiquettes la plus probable, et une étape de post-traitement arrondit le tout aux limites des phrases avec une longueur minimale de séquence « ajustée à environ 2 phrases ».

Cette fenêtre de 512 tokens est aussi le mécanisme derrière le retour d'utilisateur confus le plus courant sur ce produit, et ce depuis plus d'un an :

"Can you tell me how the sections work in Pangram? I am looking at a student's work, and Section 1 is all green, with 7.83% identified as possible AI use. Section 2, which includes most of Section 1 along with some additional new paragraphs, says 99.9% possible AI use, and some of the paragraphs that were green before are now red. Confused!"

OkToday3391, r/teachingresources, Reddit

Ce n'est pas un bug, c'est le découpage en fenêtres qui fonctionne comme prévu. L'étiquette d'un paragraphe dépend du contexte dans lequel il a été évalué, si bien que le même paragraphe peut changer de couleur quand on change ce qui l'entoure. Pangram 4 réduit le rayon de cet effet en ramenant le segment minimal à environ deux phrases, là où Pangram 3 était bien plus grossier, mais il ne supprime pas l'effet. Si vous scannez des extraits, scannez le document entier en une fois plutôt que fragment par fragment, et vous cesserez de voir des contradictions.

Les champs de sortie, et les deux qui sont mal interprétés

Voici à quoi ressemble réellement un résultat Pangram terminé.

Une carte de résultat Pangram avec la répartition à trois classes, telle que publiée dans le rapport technique de Pangram 4.

Par segment, l'API renvoie la sous-chaîne exacte, une label, des décalages de caractères, un nombre de mots, et quatre chiffres. Deux de ces quatre sont couramment lus comme quelque chose qu'ils ne sont pas, et la fiche modèle corrige les deux en langage clair.

ai_assistance_score est calculé comme P(AI-Generated) + 0.5 × P(AI-Assisted). La fiche modèle indique que c'est « un score continu d'implication de l'IA, pas la probabilité de l'étiquette discrète affichée ». Un segment à 0,62 ne signifie donc pas une confiance de 62 %. Cela signifie que l'estimation combinée d'implication de l'IA s'est établie à 0,62, et l'étiquette juste à côté provient d'un chemin de décodage distinct.

confidence renvoie High, Medium ou Low, et « mesure le caractère pointu de la distribution postérieure non contrainte du CRF, ce n'est pas une estimation de probabilité calibrée ». Une confiance élevée est une affirmation sur la netteté du pic de la distribution interne du modèle, pas une affirmation qu'il a raison 95 % du temps.

Les deux autres sont plus nets. humanizer_score est la probabilité qu'un outil d'humanisation ait touché le segment, et is_humanized passe à vrai à partir de 0,91 par défaut au lancement, un seuil que Pangram décrit comme calibré en interne, ce qui est une façon polie de dire qu'il peut bouger.

Si vous avez déjà débattu avec un collègue de ce que signifie un pourcentage de détecteur, c'est là que se cachait le débat. Le chiffre est réel et le modèle mesure bien quelque chose, mais ce n'est pas le chiffre « probabilité que ce soit de l'IA » que tout le monde croit lire. Cet écart est le sujet entier de mon article plus long sur la précision des détecteurs, et il s'applique à toute cette catégorie, pas seulement à cet outil.

Comment le verdict au niveau du document est décidé

Au niveau du document, Pangram renvoie trois fractions pondérées par caractères qui totalisent 1,0, plus un champ prediction_short avec exactement trois valeurs possibles et deux seuils publiés.

Les seuils publiés de prediction_short, selon la fiche modèle de Pangram 4.

Human exige qu'au moins 90 % des caractères du document soient classés humains. AI exige qu'au moins 80 % soient classés générés par IA. Tout le reste est Mixed. Remarquez l'asymétrie : la barre pour Human est plus stricte que la barre pour AI, si bien qu'un document généré à 85 % par IA ne renvoie pas AI, il renvoie Mixed.

Cette asymétrie compte plus qu'il n'y paraît, car la propre méthodologie d'évaluation de Pangram indique que, sur des jeux de données binaires ne contenant que des textes entièrement humains ou entièrement IA, une prédiction Mixed compte comme une erreur. Ce qui est équitable, et signifie aussi que les taux d'erreur affichés en titre sont mesurés selon un standard plus strict que « a-t-il bien saisi l'ambiance générale ».

Entrez votre propre répartition et observez où le verdict bascule :

Voici pourquoi cela compte pour quiconque édite plutôt que note : Mixed est le résultat normal pour un vrai travail. Un brouillon humain avec une introduction peaufinée, ou un brouillon IA correctement réécrit par un humain, atterrissent tous les deux là. Traiter Mixed comme une note éliminatoire revient à traiter l'édition de contenu IA comme un comportement suspect, ce qui est contre-productif et pousse les rédacteurs vers la mauvaise cible. L'objectif est une écriture sans erreurs qui sonne comme une personne, pas une fraction qui franchit un seuil.

Ce que Pangram 4 ne couvre pas

La fiche modèle est étonnamment directe sur ses propres limites, et c'est la section que j'imprimerais avant de déployer l'outil où que ce soit.

Pangram 4 « accepte des entrées de texte d'au moins 50 mots » et est « conçu pour de la prose en langage naturel écrite en phrases complètes ». Sont désignés comme hors de son périmètre principal ou plus sujets à erreur : les réponses conversationnelles courtes, les réponses à une question factuelle unique, le code source, les tables des matières, les sections de référence, les écrits générés à partir de modèles ou automatisés, les instructions et manuels techniques, ainsi que les textes dominés par la notation mathématique. Pangram recommande aussi de retirer les en-têtes, pieds de page et mises en forme écrits par des humains avant une analyse, et préfère du texte brut ou du .docx au PDF, car l'analyse de PDF introduit des artefacts.

En confrontant cette liste à l'usage réel des détecteurs, le décalage saute aux yeux. Les descriptions de produit, les entrées de journal des modifications, les méta-descriptions, les notes de version, les réponses de FAQ et les légendes de réseaux sociaux font toutes moins de 50 mots ou sont générées à partir de modèles par nature. Un verdict sur l'une d'elles sort de ce que le modèle prétend faire, ce qui compte si vous filtrez la sortie d'un outil de génération de contenu qui produit exactement ces formats à grande échelle.

L'écart entre langues est l'autre limite, et elle est quantifiée. Face aux 0,3396 % de l'anglais, les taux de faux négatifs publiés par langue vont du tchèque à 0,2760 % jusqu'au persan à 3,1715 % et à l'ourdou à 5,3169 %. Les faux négatifs multilingues s'agrègent à 1,24 %, près de quatre fois le chiffre anglais. Côté faux positifs, l'écart est plus faible mais réel, l'ukrainien étant le pire cas à 0,0361 %.

Chiffres tirés de la fiche modèle de Pangram 4.

Par rapport à Pangram 3.3.2, le taux global de faux négatifs en anglais est passé de 1,9942 % à 0,3396 %, ce qui constitue une véritable avancée générationnelle plutôt qu'un simple arrondi. Par générateur, Grok 4.3 est le plus difficile à 0,605 % et Claude Haiku 4.5 le plus facile à 0,130 %, et le plus gros gain individuel a été observé sur Gemini, passant de 5,138 % à 0,498 %.

Où l'on peut réellement lancer une analyse

Cinq surfaces, et le palier gratuit couvre la plupart d'entre elles.

L'application web accepte le texte collé ou l'import de fichiers, et prend en charge PDF, DOCX et RTF, jusqu'à 100 fichiers à la fois. Il existe une extension de navigateur pour Chrome et Firefox qui ajoute une action de clic droit « Check for AI Content » et fonctionne dans Google Docs.

L'analyse par clic droit ajoutée par l'extension, telle que montrée sur la page de l'extension Chrome de Pangram.

L'API fonctionne avec des crédits prépayés plutôt qu'un abonnement, à 0,05 dollar pour 100 mots sur Pangram 4, avec une remise de volume de 20 % et un plafond de 5 QPS en temps réel. C'est la surface que vous utiliseriez pour intégrer un filtre de détecteur dans votre propre stack, la même forme d'intégration qu'une API de rédaction côté génération. Deux détails sont faciles à mal comprendre ici. Pangram 4 coûte exactement dix fois plus que Pangram 3 par mot, car le montant en dollars est resté à 0,05 tandis que l'unité est passée de 1 000 mots à 100. Et un appel qui omet l'argument model continue d'être routé vers Pangram 3 avec l'ancienne facturation jusqu'au 30 septembre 2026, date à laquelle le même appel devient silencieusement dix fois plus cher par mot. Fixez model="pangram-4" dès maintenant et vous n'aurez pas de surprise en octobre.

Les intégrations LMS pour Canvas, Moodle, Brightspace et Google Classroom se trouvent derrière la licence institutionnelle à devis, et la vérification du plagiat est la ligne qui sépare le gratuit du payant. Le détecteur d'images est disponible sur tous les plans, y compris le gratuit, à raison de trois analyses par jour, mais c'est un aperçu de recherche : la page annonce 99,8 % de précision sans jeu de données, sans méthodologie et sans liste publiée des générateurs couverts.

Lire les chiffres sans les sur-interpréter

Selon les preuves disponibles, Pangram 4 est le détecteur le plus performant de cette catégorie. Des équipes indépendantes de UChicago Booth, de la Vrije Universiteit Brussel et de l'University of Maryland ont toutes trouvé que Pangram avait le taux de faux positifs le plus bas parmi les détecteurs commerciaux qu'elles ont testés. Chacune de ces études portait sur Pangram 3.x. Aucun tiers n'a encore testé Pangram 4, et le plus grand ensemble de contrôle humain jamais constitué borne le taux de faux positifs à environ 0,15 %, pas à 0,0041 %. Confirmer un chiffre de 1 sur 24 000 nécessite environ 73 000 échantillons humains propres.

Les deux critiques les plus pertinentes ne sont pas des anecdotes, ce sont des arguments statistiques, et tous deux résistent à la confrontation avec les propres chiffres de Pangram.

"Pangram boasts a false positive rate of 1 in a 10,000. That is, if Pangram says a block of text is AI there is only a one in ten thousand chance that it was written by a human. That'd be if they had a false discovery rate of 1/10,000."

Ukv, Hacker News

C'est cette distinction qu'il faut intérioriser. Un taux de faux positifs répond à « à quelle fréquence cela signale du texte propre », et un taux de fausse découverte répond à « sachant qu'il y a un signalement, quelle est la probabilité qu'il soit erroné ». Ces deux chiffres divergent fortement quand le texte réellement produit par IA est rare dans le lot analysé, ce qui est précisément la situation dans la plupart des flux éditoriaux.

Le deuxième point porte sur qui l'on scanne, pas sur combien.

"People mention Pangram has a low false positive rate, but usually such statistics are over a large population. […] But in your example you aren't checking 10 random works from an assortment of authors. You are checking 10 works from one author. […] all it might take for them to get most of them flagged even if they are 100% human written is for that author to have some style choice, like those 3 bullet point sections, that they just use in much of their writing."

tzs, Hacker News

Un taux d'erreur par population ne dit rien d'un taux d'erreur par auteur. Et les erreurs sont corrélées au style. Les statistiques publiées par Pangram ne répondent pas à cela, et pour être juste envers Pangram, celles d'aucun détecteur n'y répondent. Spero lui-même nuance l'affirmation marketing quand on le pousse dans ses retranchements, décrivant des benchmarks sur des jeux de données publics qui situent le taux de faux positifs « à peu près à 1 sur 10 000 » dans sa propre réponse sur HN, un chiffre différent de celui affiché en titre sur la fiche modèle, et honnête sur le fait que ce n'en est qu'un parmi d'autres.

Il existe une formulation bien trouvée de ce à quoi cet outil sert vraiment, à laquelle je reviens souvent.

"The most reliable automatic detector right now must be https://www.pangram.com/. If Pangram says something is AI, it is very likely AI. Sometimes it concludes more unusual AI text is human-written"

networked, Hacker News

Faites davantage confiance aux résultats positifs qu'aux négatifs. Cette asymétrie est intégrée dans les chiffres publiés, où le taux de faux négatifs est environ 80 fois celui des faux positifs, et c'est un meilleur modèle mental que n'importe quel pourcentage isolé. Ce n'est pas propre à Pangram non plus, cela découle de la façon dont fonctionnent les détecteurs en général : ils sont réglés pour éviter d'accuser un texte innocent, et le prix de ce choix, ce sont les textes IA passés inaperçus.

Comment je le déploierais

Le détecteur en dernier, jamais en premier. Si vous avez une raison indépendante de penser qu'un texte est écrit par une machine, une analyse peut le confirmer, et la vue par segment vous dira où. Partir de l'analyse et remonter à rebours, c'est la façon de finir par débattre avec une probabilité.

Observez les tendances plutôt que les résultats isolés. Un seul signalement sur dix textes d'un même auteur, c'est du bruit. Huit sur dix, c'est un sujet de conversation, et la version raisonnable de cet argument a été formulée sur HN mieux que je ne pourrais le faire ici.

Analysez des documents entiers, pas des fragments, pour que le découpage en fenêtres de 512 tokens cesse de produire des couleurs contradictoires sur le même paragraphe.

Et gardez à l'esprit la limite catégorique, que le monde de l'enseignement a formulée des années avant que le monde du SEO ne le rattrape.

"Ultimately they're black boxes. You don't really know what causes false positives/negatives. You get a number and hopefully its correct, but it's not like something that scans for plagiarism because with that you have the original source that you can refer to and make more insightful decisions on."

FetchFrosh, Teaching Professor, r/Professors, Reddit

La détection de plagiat produit une source que l'on peut ouvrir. La détection d'IA produit une probabilité que l'on ne peut pas auditer. La sortie par segment de Pangram 4 est ce qui se rapproche le plus de combler cet écart, et pourtant ce n'est toujours pas la même chose.

Pour une équipe de contenu en particulier, cela pousse le vrai travail en amont. Un détecteur vous dit quels paragraphes se lisent comme écrits par une machine ; il ne vous dit pas si le texte répond à la requête, et ces deux faits n'ont aucun lien. C'est pourquoi je consacrerais l'effort à rendre le contenu plus humain par une véritable édition et à ajouter de la personnalité, plutôt qu'à courir après un score.

Les divers outils d'humanisation optimisent surtout pour le chiffre plutôt que pour le lecteur, et la tête « humanizer » dédiée de Pangram 4 existe précisément parce que cette catégorie est devenue populaire. L'humanizer de Surfer est celui qu'on me demande le plus souvent de comparer, et mon avis honnête est que de meilleurs prompts d'entrée valent mieux que n'importe quelle passe de réécriture après coup.

Si vous êtes en train de choisir un détecteur, ma comparaison des options de logiciels de détection et mes notes sur Grammarly comme source d'assistance IA sont les questions voisines. Et si votre inquiétude porte sur le référencement plutôt que sur la paternité du texte, la réponse honnête se trouve dans Google pénalise-t-il le contenu IA, car les deux choses ont toujours été mesurées différemment.

Pour quiconque fait cela à l'échelle d'une organisation, la version gouvernance de la même discussion est faire grandir du contenu SEO en toute sécurité. Un détecteur est un contrôle dans ce système, pas le système lui-même.

Essayez eesel pour le brouillon, pas pour le détecteur

Pangram 4 note le brouillon que vous avez déjà. Il n'a aucun avis sur la qualité de la recherche, et après avoir vu passer beaucoup de brouillons par ce filtre, ceux qui le franchissent facilement sont ceux qui ont été correctement documentés et correctement édités dès le départ. Il n'existe pas de raccourci où un article superficiel passe parce que vous avez trouvé la bonne formulation.

C'est le travail qu'accomplit eesel. eesel fait des recherches sur un sujet à partir de sources primaires, écrit avec un entraînement à la voix de marque, construit le graphe de liens internes, et livre un brouillon qu'un éditeur finalise plutôt qu'il ne sauve. C'est le même pipeline qui a produit cet article, filtre du détecteur inclus, ce qui est à peu près la démonstration la plus honnête que je puisse offrir. Try eesel gratuitement, ou regardez la boucle automatisée fonctionner, du mot-clé jusqu'à la publication.

Si vous voulez la mécanique avant l'argumentaire, comment fonctionne le rédacteur est l'explication, les avantages et inconvénients en est la version équilibrée, et comment je teste un outil est la méthode que j'appliquerais à n'importe quel outil de cet espace, y compris le nôtre.

Le rédacteur de blog eesel avançant dans un brouillon, dossier de recherche compris.

Où aller ensuite dépend d'où vous en êtes déjà. Vous comparez encore des outils ? Mon test comparatif du rédacteur de blog IA est la confrontation directe, et les exemples du rédacteur montrent des résultats avant que vous ne vous engagiez.

Vous publiez déjà en volume ? Alors la contrainte est rarement la rédaction elle-même, c'est presque toujours la boucle de relecture, ce dont traitent l'automatisation de la rédaction de blog et la vitesse de production.

Et si les brouillons sont propres mais que le trafic ne suit pas, c'est un problème totalement différent. J'ai écrit séparément sur l'écart de positionnement, ainsi que sur l'angle E-E-A-T qui s'avère souvent être la vraie cause.

Pour une vue d'ensemble plus large, il y a mon panorama des générateurs de contenu IA et une sélection d'outils de rédaction IA.

Si le positionnement est la seule métrique qui compte, partez plutôt de l'angle centré SEO. Mon propre flux de travail de rédaction est aussi documenté, pour qui préfère copier un processus plutôt qu'acheter un produit.