Skild AI S1 : le cerveau de robot qui apprend à partir d'une seule vidéo

TL;DR

S1 de Skild AI est un modèle de fondation en robotique qui apprend une tâche totalement nouvelle à partir d'une seule démonstration vidéo, sans réentraînement ni fine-tuning. Montrez-lui une vidéo d'une tâche qu'il n'a jamais vue et il l'exécute, sur des tâches pouvant durer jusqu'à dix minutes. C'est tout l'argument, et c'est une vraie rupture avec la façon dont les politiques de robots ont été construites jusqu'ici.

Le chiffre à retenir : sur des tâches inédites à long horizon, l'apprentissage en contexte de S1 atteint 66 % de réussite par étape contre 9 % pour un modèle piloté par le langage entraîné sur les mêmes données, et une démo vidéo vaut à peu près 380 démonstrations de téléopération collectées à la main. Skild y voit le « moment GPT-3 » de la robotique.

Le bémol : tous les chiffres à ce jour viennent des benchmarks internes de Skild, et S1 n'est pas un produit que l'on peut acheter. C'est une démo de capacités d'un laboratoire très bien financé (un nouveau tour de 1,4 Md$ pour une valorisation d'environ 14 Md$). Cela mérite d'être pris au sérieux, et de voir s'il tient la route hors d'un laboratoire contrôlé. Si vous avez besoin d'une IA qui fait du vrai travail aujourd'hui, cela se trouve encore dans le logiciel, et c'est là qu'interviennent les coéquipiers IA d'eesel.

Ce qu'est réellement S1 de Skild

Skild AI est un laboratoire de robotique de Pittsburgh qui construit ce qu'il appelle un cerveau de robot « omni-bodied » : un seul modèle censé piloter n'importe quel robot pour n'importe quelle tâche. Son slogan est littéralement « Any robot. Any task. One brain. » S1 est le premier grand modèle publié sous cette bannière, annoncé fin août 2026.

Voici la partie qui compte. La plupart des politiques de robots actuelles sont spécialisées. Pour qu'un robot accomplisse un nouveau travail, les équipes collectent des heures de données propres à la tâche, puis affinent un modèle dessus. S1 saute cette étape. Vous lui donnez une seule vidéo de la tâche, cette vidéo entre dans le contexte du modèle, et le robot exécute la tâche avec exactement les mêmes poids que ceux livrés. Selon Skild : « no fine-tuning, no post-training. The same model weights produced every example shown in this blog. »

Si cela vous rappelle quelque chose, c'est le même tour que les grands modèles de langage ont réussi. Un chatbot moderne n'est pas réentraîné chaque fois que vous lui posez une nouvelle question ; vous décrivez la tâche dans le prompt et il se débrouille. Skild soutient que la robotique est restée « coincée à l'ère BERT », où chaque nouvelle compétence exige encore son propre entraînement, et que S1 est le saut vers le prompting. Je construis des agents IA pour vivre, et le passage de « réentraîner pour chaque tâche » à « montrer une fois » est l'idée la plus importante de toute l'annonce, donc il vaut la peine de s'arrêter sur son fonctionnement.

Le chiffre que tout le monde cite : 66 % contre 9 %

Skild a mené une étude contrôlée pour appuyer sa thèse. Elle a entraîné deux modèles avec des données, une architecture et une puissance de calcul identiques, ne différant que par la façon dont la tâche était spécifiée : l'un, un apprenant en contexte guidé par une vidéo, l'autre une politique conditionnée par le langage guidée par du texte. Elle a ensuite fait passer les données d'entraînement de 1 000 à 100 000 heures et mesuré la réussite sur des tâches à long horizon (de 4 à 8 minutes chacune).

Sur les tâches que les modèles avaient vues à l'entraînement, les deux ont bien performé à grande échelle : S1 a atteint 96 % contre 89 % pour la version pilotée par le langage. L'écart spectaculaire apparaît sur les tâches inédites.

Avec 100 000 heures de données, le modèle piloté par le langage n'a réussi que 9 % des tâches qu'il n'avait jamais vues, d'après l'étude de Skild elle-même. L'apprentissage en contexte de S1 a atteint 66 %, soit environ sept fois mieux, et l'écart s'est creusé avec les données. L'explication de Skild est intuitive quand on y réfléchit : le langage est un moyen grossier de décrire une compétence physique vraiment nouvelle. « Retourne la crêpe » ne dit pas à un robot à quoi ressemble le mouvement, alors qu'une vidéo le montre directement. Pour des tâches nouvelles, une démonstration porte une information qu'une phrase ne peut pas transmettre.

Une deuxième statistique pèse lourd ici. Skild a aussi demandé combien de démonstrations collectées à la main un modèle affiné aurait besoin pour égaler ce que S1 tire d'une seule vidéo. La réponse : une seule démo en contexte vaut environ 380 démonstrations de téléopération, qui ont demandé 50 à 100 heures de téléopération à collecter. C'est l'argument d'efficacité en une ligne.

Comment on « enseigne » vraiment S1

La démonstration n'a pas besoin de venir du robot lui-même. Il peut s'agir d'une vidéo humaine égocentrique : quelqu'un fait simplement la tâche avec une caméra sur lui. S1 doit traduire cette démo humaine vers son propre corps et la scène devant lui, ce qui implique de déduire implicitement l'intention de la personne, les objets importants et l'avancement de la tâche.

Sous le capot, c'est du méta-apprentissage. Le pré-entraînement est la « boucle externe » qui apprend au modèle à apprendre à partir d'une démonstration ; à l'exécution, la vidéo pilote une « boucle interne » qui adapte le comportement sans toucher à un seul poids. C'est ce mécanisme qui transforme une démo ponctuelle en politique opérationnelle.

Le comportement qui a émergé de cet entraînement est le point vraiment intéressant, car Skild dit n'avoir jamais collecté de données spécifiquement pour cela. S1 se remet de ses propres erreurs et réessaie plutôt que de foncer. Il montre un sens commun rudimentaire : si la démo arrose une plante avec un arrosoir mais qu'il n'y a qu'une tasse sur la table, S1 utilise la tasse. Et il corrige les démos défectueuses, en traitant la vidéo comme « a specification of the goal, not a trajectory to reproduce ». Un robot qui améliore un exemple humain approximatif fait plus que de l'imitation.

À quoi cela ressemble en pratique

Les démos principales sont quatre tâches pour lesquelles S1 n'a jamais été entraîné : le rempotage d'une plante, la cuisson de crêpes, le café filtre et l'assemblage d'un kit. Chacune dure jusqu'à dix minutes, comporte des dizaines d'étapes et est pilotée par une seule vidéo.

L'essai de rempotage est celui qui m'a marqué, car Skild a publié la chronologie. Le matériel est arrivé au bureau à 8:54 PM. À 9:22 PM, quelqu'un avait enregistré une seule vidéo humaine de la tâche. À 9:27 PM, le robot rempotait la plante de façon autonome. Cela fait 11 minutes entre la démonstration et un robot opérationnel, sur une tâche pour laquelle personne n'avait constitué de jeu de données. L'ancien flux commence par des heures de téléopération et une session de fine-tuning avant que le robot ne fasse quoi que ce soit.

Skild a aussi testé jusqu'où une scène peut s'écarter de la démo avant que S1 ne décroche. Il tient bien quand les objets sont déplacés de 30 cm et de 45 degrés, ou même remplacés par d'autres objets ayant le même usage, et ne se dégrade fortement que lorsque la nouvelle disposition impose un plan vraiment différent (comme faire le travail avec le bras opposé). La base de référence pilotée par le langage, elle, s'effondrait jusqu'à trois fois plus vite dès qu'un mouvement inédit était requis.

Un cerveau, plusieurs corps

Les démos de tâches ci-dessus utilisent toutes une plateforme de manipulation à deux bras, mais le plus grand pari de Skild est qu'un seul modèle devrait piloter de nombreux types de robots. Skild parle d'« omni-bodied » et intègre même la vidéo humaine, au motif que « humans are also a form of robot ».

L'architecture est une pile de deux politiques. Une politique de haut niveau, plus lente, décide quoi faire (saisir cette tasse, aller ici). Une politique de bas niveau, rapide, transforme ces décisions en angles d'articulation et couples moteur réels qui font bouger le corps. Entraînez cette pile sur de nombreuses morphologies et, selon Skild, vous obtenez deux choses : plus de données pour apprendre et une dégradation progressive lorsque le matériel change ou tombe en panne.

Selon Skild, cette affirmation de robustesse n'est pas que de la théorie. Dans son étude de cas NVIDIA, le cerveau se remet d'une roue bloquée en 2 à 3 secondes, gère des charges allant jusqu'à 1,5 fois le poids de son corps et continue même après avoir perdu un membre. L'argument commercial est le coût : Skild dit que le même modèle tourne sur du matériel à 4 000 à 15 000 $ là où les systèmes personnalisés de façon classique coûtent 250 000 $ et plus, ce qu'elle présente comme une réduction par 10 du coût total de possession.

Le problème des données qui sous-tend tout

Tous les laboratoires de robotique butent sur le même mur : les données réelles de robots sont lentes et coûteuses à collecter, et il n'y en a de loin pas assez. La position de Skild est directe. Elle soutient qu'il ne faut pas des millions ou des milliards d'exemples mais des milliers de milliards, et que « even if the whole population of earth collects data it will take years to reach 100 trillion trajectories ». La téléopération réelle seule n'y arrivera jamais.

Skild s'appuie donc sur des sources qui passent à l'échelle. Aucune ne l'emporte sur tout, alors elle les combine :

La recette : pré-entraîner le cerveau sur de la simulation à grande échelle plus de la vidéo humaine d'internet (les deux quasi infinies), puis post-entraîner sur des données réelles ciblées. Skild fait tourner cela sur la pile NVIDIA, avec Isaac Lab pour les scénarios d'apprentissage par renforcement, Omniverse pour la physique et Cosmos pour générer de la variété synthétique, ce qui, dit-elle, compresse « a millennium of experience within days ». Elle dépense aussi beaucoup pour nettoyer ces données : « for every dollar we spend on collecting data, we spend three on quality control. »

C'est aussi là que Skild lance son coup de coude le plus acéré. Elle rejette les rivaux qui « start with an existing [vision-language model] and sprinkle in less than 1% of real-world robot data » et appellent le résultat un modèle de fondation en robotique. Ceux-là, dit Skild, sont un « Potemkin village » : ils ont des connaissances sémantiques mais « lack the true substance of grounded actionable information ». Que cette critique soit juste ou non, c'est précisément ce que l'année de déploiements réels à venir tranchera.

Qui est derrière et l'argent

Skild a été fondée en 2023 par Deepak Pathak, son PDG, et Abhinav Gupta, tous deux professeurs au Robotics Institute de Carnegie Mellon qui, selon Sequoia, avaient auparavant « discussed starting a company for a decade ». Leur lignée de recherche (passage à l'échelle des données de robots, apprentissage guidé par la curiosité, sim-to-real à grande échelle) est le véritable socle du produit, ce qui change d'un laboratoire sorti de nulle part.

Le financement montre à quel point le marché prend ce pari au sérieux. Lors de son dernier tour de financement, Skild vient de lever 1,4 milliard de dollars, triplant sa valorisation à plus de 14 milliards, dans une opération menée par SoftBank avec la participation de la branche capital-risque de NVIDIA, Bezos Expeditions, Samsung, LG et Salesforce Ventures, entre autres. Cela porte le financement total à environ 1,83 milliard. Skild a aussi dit à Crunchbase être passée d'à peu près zéro à 30 millions de dollars de revenus « in just a few months » en 2025. À titre de comparaison dans le même secteur, le fabricant d'humanoïdes Figure AI lève des fonds à des niveaux tout aussi vertigineux, de sorte que S1 arrive dans un environnement de financement de la robotique qui a atteint 13,8 milliards de dollars en 2025.

Ce que dit le monde de la robotique

Les réactions se sont vite partagées, et les deux camps méritent d'être entendus. Du côté enthousiaste, des voix respectées de l'IA y ont vu un jalon. L'immunologue et prolifique commentateur de l'IA Derya Unutmaz l'a dit sans détour :

"This is super exciting advance in robotics AI! I believe S1 is the most impressive robot foundation model I had seen! ... In Skild's internal benchmarks, S1 achieved a 66% step-success rate on unseen tasks versus 9% for a language-prompted model, while one video demonstration provided roughly the benefit of 380 post-training examples!"

Derya Unutmaz, MD, X

Les sceptiques ne rejettent pas le travail, ils pointent là où les démos de robots échouent historiquement. Une réponse dans le même fil a bien résumé l'état d'esprit :

"'66% on internal benchmarks' is doing a suspicious amount of lifting. robotics demos always look like the future until lighting, grippers, clutter, and failure recovery show up. in-context prompting is cool; the physical world still charges interest."

James' AI Takes, X

Les deux ont raison en même temps. Le résultat en contexte est réel et la méthode est solide. Mais les chiffres viennent tous de Skild, sur les benchmarks de Skild, et un laboratoire contrôlé est un endroit indulgent. À son crédit, Skild dit que S1 est « already at work with our commercial partners », des preuves en conditions réelles devraient donc suivre. D'ici là, la lecture honnête est : prometteur, étonnamment bien fondé pour un lancement, et non prouvé hors du laboratoire.

Où eesel s'inscrit dans un monde de coéquipiers IA

S1 est passionnant parce qu'il laisse entrevoir un futur où le travail physique est automatisé comme l'est déjà le travail logiciel. Mais remarquez le temps utilisé : ce futur en est encore au stade de la démonstration. Si votre problème est une file de tickets de support ou un retard de contenu plutôt qu'une plante à rempoter, vous n'avez pas à attendre un cerveau de robot. L'idée d'« apprendre de votre propre contexte, puis faire le travail », qui rend S1 intéressant, est déjà livrée dans le logiciel.

C'est la forme d'eesel : vous recrutez des coéquipiers IA prêts à travailler pour des missions précises, et chacun arrive en connaissant déjà votre entreprise. Le coéquipier IA de helpdesk rejoint votre file Zendesk, Freshdesk ou Gorgias existante, apprend de vos anciens tickets et de votre centre d'aide, et rédige ou envoie des réponses. Il simule même sur vos tickets historiques avant sa mise en service, notre version de « testez avant de faire confiance ».

L'autre coéquipier de la liste est le rédacteur de blog IA, qui recherche et rédige des articles longs (ce type d'article, d'ailleurs). Là où S1 a besoin d'une démonstration vidéo, un coéquipier eesel a besoin de votre base de connaissances, et là où S1 est un résultat de laboratoire, ceux-ci sont opérationnels en quelques minutes avec un essai gratuit et sans appel commercial. Si vous voulez le futur des robots physiques, suivez Skild et ses rivaux émergents. Si vous voulez une IA qui fait du vrai travail dans votre entreprise cet après-midi, vous pouvez essayer eesel gratuitement, sans appel commercial.