Qu'est-ce que Puddin AI ? L'outil qui prouve qu'un humain (pas ChatGPT) l'a écrit

Résumé

Puddin AI est une startup japonaise avec une inversion ingénieuse du problème de détection d'IA. Tout le monde essaie de regarder un essai terminé et de deviner si une machine l'a écrit. Puddin ne devine pas. Il enregistre comment le document a été rédigé — les frappes au clavier, les modifications, les pauses, les actions de collage — et émet un certificat signé et horodaté attestant qu'un humain a réellement été là à effectuer le travail.

C'est développé par Valar Intelligence, basée à Osaka, ciblant en premier lieu les universités, et a déjà été testé dans des cours à l'Université de Kyushu. Pas encore de tarification publique ; c'est un produit entreprise avec demande de démonstration.

Pourquoi cela est important au-delà du milieu académique : l'argument central est « prouvez-le, ne le devinez pas. » C'est exactement la transformation qui s'opère avec l'IA partout, y compris dans le support, où j'ai passé des années à voir des bots qui semblent confiants donner silencieusement de mauvaises réponses. Les outils auxquels les gens finissent par faire confiance ne sont pas ceux qui promettent d'avoir raison ; ce sont ceux qui vous permettent de vérifier avant de miser sur eux.

Qu'est-ce que Puddin AI ?

Puddin AI se qualifie lui-même de « plateforme de vérification du processus d'écriture. » La version courte : il prouve qu'un texte a été écrit par un humain, « non pas en devinant, mais par la preuve. »

Voici le principe. Un étudiant rédige son rapport ou sa thèse dans l'éditeur propre de Puddin. Pendant qu'il tape, Puddin enregistre le processus en arrière-plan — le flux de frappe, l'historique des modifications, les pauses, les opérations de collage, l'ordre dans lequel les révisions ont été effectuées, combien de temps l'ensemble a pris. Lorsque le travail est soumis, l'enseignant ne voit pas seulement le texte final ; il voit un rapport sur le processus d'écriture et un certificat prouvant que le travail a été rédigé par cette personne, à ce moment précis.

L'entreprise derrière est Valar Intelligence, fondée par Nowa Sutaka, née en Californie et ayant obtenu la nationalité japonaise en 2020. L'histoire d'origine est inhabituellement concrète pour un pitch de deep-tech. Sutaka travaille comme scénariste et romancier, et traduisait un scénario anglais pour un anime. Comme ils le racontent (traduit du japonais) :

« Alors que je passais de nombreuses heures à le traduire et à l'affiner ligne par ligne… la réalité m'a aussi traversé l'esprit : "Honnêtement, si tu colles le manuscrit dans ChatGPT, une version anglaise plausible apparaîtrait en 10 minutes." Mais même en comparant ces deux manuscrits, il n'y a aucun moyen de prouver à un tiers si j'ai passé du temps à l'écrire moi-même ou si je l'ai confié à l'IA. »

Nowa Sutaka, fondateur, dans un profil Osaka Entrepreneurs

Cet écart — j'ai fait le travail, et je ne peux pas le prouver — est toute l'entreprise. Sutaka a cherché « un service capable de prouver qu'un humain a écrit ceci », n'en a pas trouvé, et l'a créé.

Le problème : la détection d'IA est quelque peu défaillante

Pour comprendre pourquoi l'approche de Puddin est intéressante, il faut commencer par comprendre pourquoi l'approche actuelle frustre tout le monde.

La plupart des écoles se tournent vers un outil de détection de l'écriture IA comme Turnitin ou GPTZero. Ceux-ci lisent le texte terminé et estiment à quel point il semble « semblable à une IA ». Le problème est que ces détecteurs fonctionnent par inférence, et l'inférence sur un texte terminé est fragile. Un étudiant peut faire rédiger quelque chose par une IA, puis le modifier considérablement. Un étudiant peut mélanger ses propres phrases avec des phrases générées. Et — la partie qui nuit réellement aux gens — une écriture parfaitement humaine est signalée comme IA tout le temps.

Les éducateurs qui vivent avec cela sont directs à ce sujet. Extrait d'un fil r/academia sur les taux de faux positifs :

« Il n'existe PAS d'outil valide de détection d'IA. Cette technologie n'existe pas. Aucun outil ne peut produire de manière crédible des preuves pour une enquête, et encore moins des accusations. » - theArtOfProgramming, r/academia

Et les mathématiques sont vraiment mauvaises. Un autre commentateur a souligné que même un taux de faux positifs de 1 %, appliqué aux ~100 devoirs d'un diplôme, donne une probabilité d'environ 63 % d'être incorrectement signalé au moins une fois — et les taux réels sont largement rapportés comme supérieurs à 1 %. Les locuteurs non natifs de l'anglais sont touchés de manière disproportionnée. Quand l'outil censé protéger l'intégrité académique est lui-même peu fiable, vous n'avez fait que déplacer le problème.

Ce n'est pas unique au milieu académique non plus ; quiconque tente de vérifier les faits du contenu IA à grande échelle se heurte au même mur, et les outils qui prétendent le détecter continuent à trébucher sur des écrivains honnêtes.

La position de Puddin est que vous ne pouvez pas résoudre cela en construisant un meilleur devineur. Vous le résolvez en ne devinant pas.

Comment Puddin AI fonctionne réellement

C'est la partie que je trouve vraiment ingénieuse, alors laissez-moi parcourir le mécanisme plutôt que le marketing.

Parce que l'écriture se produit dans l'éditeur de Puddin, le système dispose de quelque chose que les détecteurs n'obtiennent jamais : le flux complet d'événements de la façon dont le texte est venu à exister. Lorsque vous appuyez sur le bouton de vérification, il évalue le travail par rapport à environ 200 indicateurs d'« humanité », selon la couverture de Science Japan, le service d'information en anglais de l'Agence japonaise des sciences et de la technologie. Les exemples cités dans les reportages sont le genre de choses qu'une machine ne peut pas facilement falsifier à rebours : les fautes d'orthographe humaines courantes, les pauses que les gens prennent au milieu d'une pensée, et le temps qu'une pièce de cette longueur prend normalement à produire.

Dans la démo de la page d'accueil, Puddin montre quelques-uns d'entre eux sous forme de panneau de processus — flux de frappe, historique des modifications, modèles de révision, pauses et opérations de collage, chacun évalué en pourcentage, plus les métadonnées de session comme le temps total de création et le nombre de modifications. Le résultat est classé dans l'un des trois groupes : Humain, Assisté par IA ou IA. Il gère six langues, dont le japonais et l'anglais.

Le cas copier-coller est l'illustration la plus claire. Si vous collez une réponse générée par IA, la chronologie d'écriture s'effondre — il n'y a pas de construction graduelle, juste un bloc de texte apparaissant d'un coup — et Puddin met en évidence ces passages en violet.

Vient ensuite la partie qui en fait plus qu'un enregistreur de frappe sophistiqué : un certificat cryptographique. Puddin combine les données comportementales avec des horodatages cryptographiques et une chaîne de hachage pour générer une piste vérifiable par document. Donc le résultat n'est pas « nous pensons que c'est humain à 82 %. » C'est un artefact signé indiquant cette personne a écrit ceci, à ce moment précis, qu'un tiers peut vérifier ultérieurement. C'est une chose significativement différente à remettre à un comité de notation qu'un score de probabilité.

Il est également conçu pour s'intégrer dans ce que les universités utilisent déjà. Puddin s'intègre avec le LMS — Moodle, Canvas, Blackboard, Google Classroom — et utilise la connexion unique avec les comptes universitaires, donc personne ne crée un nouveau compte. Les enseignants créent des devoirs depuis le LMS qu'ils utilisent déjà ; les étudiants ouvrent Puddin à partir de là. Les cas d'usage vont des rapports et des courtes thèses aux journaux de laboratoire, examens en ligne et thèses de fin d'études.

Où il est utilisé

Puddin a été testé à l'Université de Kyushu sur de vraies assignations de rapport, et la société dit que plusieurs dizaines d'universités envisagent de l'adopter. Le cadrage de la faculté est le signal intéressant ici — il s'agit d'équité, pas de surveillance :

« Je veux que les étudiants prennent leur temps et écrivent leur travail eux-mêmes. Ce système peut vérifier l'originalité, rendant une évaluation équitable possible. » - Andrew John Chapman, professeur associé d'économie de l'énergie à l'Université de Kyushu

Puddin rapporte que les étudiants dans l'essai ont dit qu'ils pouvaient écrire de la façon dont ils le font normalement, et que l'enregistrement en arrière-plan a été reçu comme un soutien à l'apprentissage plutôt que comme une surveillance. Cette distinction est très importante pour savoir si un outil comme celui-ci survit au contact d'un vrai corps étudiant.

La mise en garde honnête

J'essaie d'être juste envers tout ce sur quoi j'écris, et la vérification de processus a une vraie faiblesse pointue qui mérite d'être nommée avant que quelqu'un ne s'enthousiasme trop.

La critique la plus acérée est venue d'un universitaire japonais, Hiroyuki Okumura, et c'est une bonne critique (traduite) :

« Quand on tape un long texte dans un formulaire web, ça peut expirer ou le navigateur plante et on perd tout, donc j'écris toujours dans un éditeur de texte et je colle ensuite. Est-ce que ça me vaut d'être jugé comme IA ? »

Hiroyuki Okumura sur X

C'est là le cœur du problème. Un flux de travail humain parfaitement légitime — rédiger dans un éditeur de texte de confiance, puis coller dans la boîte de soumission — ressemble beaucoup au modèle coller-depuis-l'IA que Puddin est conçu pour détecter. L'approche « prouvez le processus » échange un risque de faux positif contre un autre différent, et ne fonctionne que si tout le monde accepte d'écrire dans le jardin fortifié. Il y a aussi la limitation évidente qu'il ne peut pas vérifier rétroactivement la montagne de documents déjà rédigés ailleurs ; il ne prouve la paternité que pour les travaux créés sur la plateforme à partir de maintenant.

Et les mises en garde pratiques : Puddin est très précoce, japonais-premier, et n'a pas de tarification publique — c'est un produit de vente directe avec demande de démonstration pour les institutions. C'est donc un « gardez un œil sur cet espace », et non un « inscrivez-vous cet après-midi ».

À la décharge de Puddin, il ne prétend pas que l'IA devrait être bannie. Son propre cadrage est l'analogie de la calculatrice — quand les calculatrices sont arrivées, nous n'avons pas arrêté d'enseigner les mathématiques, nous avons rendu la présentation du travail plus importante. Comme la société le dit sur X : « Vous ne pouvez pas détecter le texte IA après coup avec 100 % de précision. Nous vérifions la paternité humaine pendant la création. » C'est le même recadrage qui apparaît dans le contenu IA plus largement : arrêter de contrôler le résultat, commencer à garantir le processus.

La vraie leçon : prouvez-le, ne le devinez pas

En prenant du recul par rapport aux salles de classe, Puddin est un exemple de quelque chose de beaucoup plus grand. Alors que les outils d'écriture IA gèrent de plus en plus, la chose rare et précieuse n'est pas le résultat — c'est la preuve que vous pouvez faire confiance au résultat. La même question arrive sur chaque bureau : non pas « l'IA peut-elle faire ça ? » mais « puis-je prouver qu'elle l'a bien fait ? » C'est pourquoi les vendeurs continuent d'ajouter des choses comme une couche de confiance au lieu de simplement livrer un modèle plus grand.

Je travaille sur l'IA pour le service client, et c'est la leçon qui nous a pris le plus de temps à apprendre. L'écart n'était jamais la capacité. Les modèles modernes peuvent rédiger une réponse de support aussi vite que vous pouvez lire cette phrase. L'écart, c'est la confiance — et le moyen le plus rapide de la détruire est une IA qui fait la mauvaise chose avec confiance. Le pire mode de défaillance que j'ai observé n'est pas un bot qui dit « Je ne sais pas. » C'est un bot qui raconte dix étapes confiantes d'un travail qu'il n'a jamais réellement effectué, ou qui hallucine une réponse quand la base de connaissances n'a pas de correspondance.

Donc la réponse finit par ressembler beaucoup à celle de Puddin, juste pointée vers un problème différent. Vous ne déployez pas et vous ne priez pas. Vous vérifiez avant de miser dessus. Un responsable support avec qui je travaille a bien formulé la barre :

« Il répond avec confiance mais pas trop, et l'entraîner a été super facile. »

un responsable support dans une plateforme SMS/messagerie gérant ~260 interactions IA par mois

Cette confiance doit être gagnée quelque part, et l'endroit pour la gagner, c'est avant la mise en production, pas devant un client. Puddin la gagne en enregistrant comment l'écriture s'est produite. Le parallèle dans le support consiste à simuler un agent IA contre des milliers de vos propres tickets passés, pour que vous puissiez voir exactement comment il aurait répondu — et où il se serait trompé — avant qu'un seul vrai client le voie. Même instinct : d'abord les preuves, ensuite la confiance.

Essayez eesel

Si l'idée de Puddin de « prouvez-le avant de lui faire confiance » résonne et que votre problème est le support plutôt que les essais, c'est la barre qu'eesel AI est conçu pour franchir. Vous le connectez à votre centre d'aide et à vos tickets passés, et avant qu'il ne réponde jamais à un client, vous pouvez l'exécuter en simulation sur votre historique de tickets réel — pour voir ses vraies réponses et son taux de résolution en avance, plutôt que d'espérer qu'il se comporte une fois en production. Il s'intègre dans le helpdesk que vous utilisez déjà, apprend des connaissances que vous avez déjà, et est gratuit à essayer.

C'est la même transformation sur laquelle Puddin mise, dans une autre pièce : dans un monde où l'IA peut tout produire, les outils qui méritent la confiance sont ceux qui vous permettent de vérifier d'abord.