Critique de Sakana AI : Hype ou réalité pour le scientifique de l'IA

Il y a de fortes chances que vous ayez entendu parler du « scientifique IA » de Sakana AI. Il s'agit d'un système qui automatiserait l'ensemble du processus de recherche scientifique, de la conception de nouvelles idées à la publication d'articles. L'affirmation qui a fait les gros titres ? Pour environ 15 $, cette IA peut produire un article de recherche complet, inaugurant une nouvelle ère de découverte automatisée. C'est le genre de nouvelle qui pousse tous les acteurs de la tech à tendre l'oreille.

Mais est-ce vraiment l'aube de « l'intelligence artificielle de recherche », ou l'histoire est-elle un peu plus compliquée ? Dans cet article, nous allons vous donner un avis franc sur Sakana AI, en comparant les grandes promesses de l'entreprise avec ce que les chercheurs indépendants ont réellement découvert. Plus important encore, nous parlerons de ce que tout cela signifie pour les entreprises qui ont besoin d'une IA pratique et fiable qu'elles peuvent utiliser dès aujourd'hui.

Qu'est-ce que Sakana AI et le « scientifique IA » ?

Sakana AI est un laboratoire de recherche basé à Tokyo qui s'inspire de la nature pour créer de nouveaux types d'IA. Leur projet « scientifique IA » est de loin leur création la plus médiatisée. Il est conçu pour être un système autonome capable de gérer seul l'ensemble du cycle de recherche.

Selon Sakana AI, le système est censé :

• Proposer de toutes nouvelles idées de recherche.

• Explorer la littérature existante en utilisant la base de données Semantic Scholar.

• Écrire et exécuter le code nécessaire pour les expériences.

• Analyser les résultats et rédiger un article scientifique complet.

• Effectuer même sa propre évaluation par les pairs pour détecter les erreurs.

Le projet a suscité un énorme enthousiasme, brossant le tableau d'un avenir où la science progresserait à la vitesse de l'éclair. Mais qui dit grandes promesses dit aussi grandes questions, et le scientifique IA a certainement attiré des regards critiques.

La promesse : une IA peut-elle vraiment automatiser la découverte scientifique ?

Si vous lisez les annonces de Sakana AI, ils positionnent le scientifique IA comme un outil révolutionnaire, le premier du genre à automatiser véritablement la découverte du début à la fin.

Voici les principales promesses qu'ils ont mises sur la table :

• Automatisation de bout en bout : Le système est censé tout gérer, de l'étincelle initiale d'une hypothèse à l'article final, sans aucune surveillance humaine. L'idée est de le laisser fonctionner en continu, en s'appuyant sur ses propres découvertes.

• Succès à l'évaluation par les pairs : Leur affirmation la plus célèbre est que l'un de ses articles entièrement générés par IA a passé l'évaluation par les pairs pour un atelier à l'ICLR 2025, une conférence majeure sur l'apprentissage automatique. Cela a été présenté comme la preuve que son travail pouvait répondre aux normes humaines.

• Économies de coûts incroyables : L'entreprise vante le coût minime d'environ 6 à 15 $ par article. Cela laisse entrevoir un avenir où la recherche n'est pas freinée par de gros budgets, ouvrant les portes à un plus grand nombre de contributeurs.

• Découverte ouverte : Le système est conçu pour créer une bibliothèque de connaissances qui s'enrichit au fil du temps, en apprenant de ses travaux passés et des retours, un peu comme le fait la communauté scientifique humaine.

Sakana AI présente cela comme le début d'une nouvelle ère où l'IA peut faire des découvertes « au niveau humain et au-delà ». C'est une pensée exaltante, mais que se passe-t-il lorsque l'on regarde vraiment sous le capot ?

Cette vidéo offre un bref aperçu du « scientifique IA » de Sakana AI et de son objectif d'automatiser la découverte scientifique.

La réalité : ce qu'a révélé une évaluation indépendante

Une fois que l'on dépasse les gros titres, un tableau beaucoup plus confus commence à se dessiner. Une étude indépendante approfondie de Beel et al., ainsi que des reportages incisifs de médias comme TechCrunch, ont mis les capacités du scientifique IA à l'épreuve. Et bien que la technologie soit impressionnante à certains égards, elle est loin d'être le génie autonome qu'on nous a présenté.

La génération d'idées et la nouveauté sont un échec

Le scientifique IA est censé trouver des idées « nouvelles » en examinant la littérature existante. Mais l'analyse indépendante a révélé qu'il s'agissait essentiellement d'une recherche par mots-clés glorifiée sur Semantic Scholar. Il ne synthétise ni ne comprend réellement les connaissances qu'il parcourt, ce qui est assez essentiel si vous voulez déterminer ce qui est vraiment nouveau.

Pour cette raison, le système a signalé plusieurs concepts bien connus comme étant « nouveaux », y compris le « micro-batching pour SGD », une technique qui existe depuis des années. Cela met en évidence une énorme faiblesse : l'IA peut repérer des mots-clés, mais elle n'a aucune compréhension réelle du contexte ou de l'originalité. Sans cela, elle ne peut pas vraiment repousser les limites de la science.

Les expériences sont bâclées et échouent constamment

Trouver une idée est une chose, mais la tester est là où le scientifique IA a vraiment trébuché. L'évaluation indépendante a révélé une statistique assez accablante : 42 % des expériences de l'IA n'ont même pas pu être exécutées en raison d'erreurs de codage. Le système restait souvent bloqué dans une boucle, essayant encore et encore le même code défectueux.

Et quand les expériences fonctionnaient ? Les modifications de code étaient infimes, avec en moyenne seulement 8 % de modification par rapport au modèle original. Cela nous indique que l'IA n'est pas très adaptable et ne crée pas vraiment de nouvelles façons de tester les idées. Pour ne rien arranger, la méthodologie était souvent tout simplement fausse. Dans un cas, l'IA a affirmé avoir amélioré l'efficacité énergétique, mais ses propres résultats ont montré qu'elle avait en fait augmenté l'utilisation des ressources de calcul, soit l'exact opposé de son objectif.

Les articles finaux et les évaluations sont superficiels

Les articles finaux n'étaient pas beaucoup mieux. Ils se sont avérés de faible qualité, avec une médiane de seulement cinq citations (la plupart obsolètes). Ils étaient également truffés d'erreurs de débutant, comme des figures manquantes, des sections dupliquées et même du texte de remplissage qui disait littéralement « Conclusions ici ».

Et qu'en est-il de cet évaluateur par les pairs automatisé ? Il pouvait certes produire des commentaires structurés, mais il passait systématiquement à côté des défauts les plus importants de son propre travail. Lorsqu'il a été testé sur des articles écrits par des humains, il s'est montré trop critique, rejetant des articles que les évaluateurs humains avaient approuvés. Il semble que l'IA puisse suivre un modèle d'évaluation, mais il lui manque la pensée critique approfondie nécessaire pour une véritable critique.

La conclusion de l'étude l'a parfaitement résumé : la production du scientifique IA est comparable à celle d'un « étudiant de premier cycle démotivé se dépêchant de respecter une date limite ». C'est une démonstration fascinante de l'imitation par l'IA, mais elle est loin de produire une science fiable.

Des projets ambitieux à la réalité : ce que les entreprises attendent de l'IA aujourd'hui

Alors que des projets fous comme le scientifique IA nous donnent un aperçu passionnant de l'avenir, on ne peut pas diriger une entreprise sur des projets ambitieux. Vous avez besoin d'une IA fiable, contrôlable et transparente qui résout des problèmes concrets dès maintenant. Le battage médiatique autour de l'IA expérimentale peut détourner l'attention des outils pratiques qui font déjà la différence.

C'est là qu'une solution pragmatique comme eesel AI entre en jeu. Elle est conçue pour le monde réel, pas pour un laboratoire de recherche.

Comparons l'approche expérimentale de Sakana AI avec les atouts d'eesel AI, prêts pour l'entreprise :

• Fiabilité contre imprévisibilité : Alors que le scientifique IA échoue dans 42 % de ses expériences, eesel AI vous permet d'exécuter une simulation au préalable. Cela signifie que vous pouvez tester en toute sécurité ses performances sur des milliers de vos tickets passés réels avant même qu'il ne parle à un client. Vous obtenez une prévision claire et précise de ses performances et pouvez le déployer en toute confiance.

• Contrôle contre boîte noire : Le scientifique IA génère souvent des résultats erronés et insensés sur lesquels vous n'avez aucun contrôle. Avec eesel AI, c'est vous qui êtes aux commandes. Vous pouvez définir exactement les connaissances qu'il utilise, personnaliser sa personnalité et ses actions, et choisir les types de tickets à automatiser. L'IA ne dérape jamais car elle ne fait que ce que vous lui dites de faire.

• Connaissances ancrées contre hallucination : Le bot de Sakana AI a du mal à comprendre la littérature et invente souvent des choses. eesel AI s'ancre dans la réalité de votre entreprise. Il se connecte instantanément à vos connaissances existantes dans des endroits comme votre service d'assistance, Confluence, Google Docs, et les conversations de support passées. Il apprend le ton de votre marque et vos processus réels, de sorte que ses réponses sont toujours précises et utiles.

Le verdict final sur Sakana AI

Le projet de Sakana AI est une démonstration technique sérieusement impressionnante. C'est une étape importante qui montre à quel point l'IA a progressé dans l'imitation de compétences humaines complexes comme la recherche et l'écriture. C'est une expérience cool, sans aucun doute.

Mais il n'est absolument pas à la hauteur du battage médiatique d'un scientifique entièrement autonome prêt à changer le monde. Le système est tout simplement trop peu fiable, superficiel et bogué pour toute utilisation sérieuse. C'est une preuve de concept fascinante, pas un outil sur lequel vous pouvez réellement compter.

Prêt pour une IA qui fonctionne vraiment ?

L'avenir de l'IA est passionnant, mais les problèmes d'aujourd'hui nécessitent des solutions pratiques. Pendant que nous attendons qu'une IA écrive le prochain article lauréat du prix Nobel, les entreprises peuvent déjà résoudre d'énormes défis dans le support client et le partage de connaissances internes.

Au lieu de vous débattre avec une IA expérimentale qui produit des articles défectueux, vous pouvez déployer une IA qui fournit des réponses impeccables. eesel AI est conçu pour le monde réel. Il est en libre-service, se connecte à vos outils en quelques minutes et vous donne la confiance nécessaire pour automatiser le support de manière sûre et efficace.

Ne vous contentez pas de lire ce que l'IA pourrait faire un jour. Voyez ce qu'elle peut faire pour vous dès maintenant. Essayez eesel AI gratuitement et découvrez à quelle vitesse vous pouvez automatiser votre support avec une IA en laquelle vous pouvez vraiment avoir confiance.