FLUX 3 im Test: starke Belege, aber nichts, was man kaufen kann

Wie testet man ein Modell, das man nicht ausführen kann?

Ehrlich, und mit von Anfang an offengelegter Methodik. Sonst ist der Test eines Early-Access-Modells nur eine Neufassung der Ankündigung mit ein paar zusätzlichen Adjektiven.

Das konnte ich prüfen: den Launch-Post samt Funktionsliste. Die FLUX-mimic-These und ihre Erfolgsraten-Charts. Die Self-Flow-Forschungsseite, auf der die eigentliche Methode steht, veröffentlicht als arXiv-Preprint 2603.06507. Die Modellseite und die Preisseite, die sich als die informativste Seite von allen entpuppte. Und zwei Hacker-News-Threads, in denen Leute, die diese Modelle lokal betreiben, live reagiert haben. Jede dieser Quellen ist unten vollständig verlinkt.

Das konnte ich nicht prüfen: eine einzige Generierung. Ich habe keinen einzigen Prompt durch FLUX 3 laufen lassen, und niemand, der diese Woche darüber schreibt, hat das getan, es sei denn, er ist Teil des Early-Access-Programms.

Dieser Screenshot ist die gesamte Produktoberfläche. Im Grunde ein Antragsformular. Was fair bleibt zu bewerten, ist also die Papierspur, und die fällt besser aus, als der Launch-Post mich erwarten ließ.

Die zu prüfende Behauptung

FLUX 3 ist ein multimodales Foundation-Modell, das mit Bildern, Video und Audio in einer einzigen Architektur trainiert wird, wobei dasselbe Backbone auch Roboteraktionen vorhersagt. Black Forest Labs stellt das als Erlernen einer Repräsentation der Welt dar, statt als drei getrennte Fähigkeiten. Wie Objekte zusammenhalten, wie sich Dinge bewegen, wie Ereignisse klingen.

Konkret bedeutet das: Video mit nativem Audio bis zu 20 Sekunden in einer einzigen Generierung, Text-zu-Video, Bild-zu-Video aus einem Startbild oder einer visuellen Referenz, Video-zu-Video, das einen Charakter in eine neue Szene überträgt, Keyframe-zu-Video für kontrollierte Übergänge, mehrsprachige Dialoge und agentisches Verketten von Clips zu Mehrsequenz-Abfolgen. Jede Ausgabe hat das Audio direkt eingebaut, statt es nachträglich draufzulegen.

Dieses letzte Detail wäre das Erste, was ich testen würde, hätte ich Zugang. Ton, der exakt auf dem Frame landet, in dem der Aufprall passiert, ist ein deutlich schwierigeres Problem als Ton, der einfach über einen Clip läuft, und das ist die Art Feature, die entweder funktioniert oder sich sofort blamiert.

Erwähnenswert für alle, die damit planen: Eine 20-Sekunden-Grenze mit eingebautem Audio ändert, was ein kurzer Erklärclip kostet, ändert aber nicht den Teil, der wirklich entscheidet, ob der Clip überhaupt gut ist. Das Videoskript zu schreiben ist immer noch der Schritt, den die meisten Teams überspringen.

Das Paper ist besser als der Blogpost

Das ist der Teil des Tests, von dem ich nicht erwartet hätte, dass er zum Highlight wird. FLUX 3 baut auf Self-Flow auf, und es ist die Forschungsseite, nicht die Ankündigung, auf der Black Forest Labs seine Arbeit tatsächlich zeigt.

Der Mechanismus heißt Dual-Timestep Scheduling und ist eine Variante des üblichen Denoising-Aufbaus, auf dem jedes Diffusionsmodell basiert. Bei einer sauberen Eingabe zieht die Methode zwei Zeitschritte und eine zufällige Maske und verrauscht dann jeden Token gemäß seinem zugewiesenen Zeitschritt, sodass unterschiedliche Teile derselben Eingabe unterschiedlich stark verfälscht ankommen. Die Lehrersicht bekommt das niedrigere Rauschlevel, was eine bewusste Informationsasymmetrie schafft, und der Schüler wird trainiert, die Eingabe zu entrauschen und gleichzeitig die Merkmale des Lehrers zu rekonstruieren. Der Sinn dieses ganzen Apparats: Das Modell lernt starke Repräsentationen, ohne dass ein externes Lehrer-Modell angeflanscht wird.

Es lohnt sich zu erklären, warum das für einen Käufer und nicht nur für einen Forscher relevant ist. Der übliche Weg zu semantischer Qualität in einem generativen Modell besteht darin, es an ein separates, vortrainiertes Vision-Modell anzugleichen. Das funktioniert gut, bedeutet aber auch, zwei Modelle zu pflegen, deren Ziele nicht ganz zusammenpassen. Self-Flows Behauptung lautet, dass die Repräsentation aus dem generativen Training selbst hervorgehen kann. Wer schon einmal abgewogen hat, auf einem vortrainierten Encoder aufzubauen oder etwas von Grund auf End-to-End zu trainieren, wird diesen Kompromiss wiedererkennen, und meine Notizen zu maßgeschneiderten KI-Modellen und dem Training eines KI-Modells behandeln dieselbe Weggabelung von der angewandten Seite aus.

Auch die Ablationen sind real. Der Bildvergleich läuft mit einem 625M-Parameter-Backbone auf 20M Bildern gegen normales Flow Matching, REPA mit DINOv2, REPA mit SigLIP2 und SRA. Für den gemeinsamen multimodalen Lauf kommt ein einzelnes 4B-Parameter-FLUX.2-Backbone zum Einsatz, trainiert auf 200M Bildern und 6M Videos, über 100.000 hochauflösende Fine-Tuning-Schritte. Zahlen, die konkret genug sind, um sich damit auseinanderzusetzen, was schon mehr ist, als die meisten Modell-Launches bieten.

Das Skalierungsergebnis ist die stärkste zukunftsgerichtete Behauptung der Veröffentlichung:

Während die Modellgröße von 290M über 420M und 625M auf 1B Parameter steigt, wird die Lücke zwischen Self-Flow und REPA größer statt kleiner, während REPA abnehmenden Grenzertrag zeigt. Eine Methode, die mit der Skalierung relativ besser wird, ist deutlich mehr wert als eine, die nur bei einer bestimmten Größe gewinnt.

Jetzt zum Vorbehalt des Testers, der real ist. Diese Experimente enden bei 4B Parametern auf 200M Bildern. FLUX 3 selbst wird als deutlich hochskaliert gegenüber diesem Setup beschrieben. Das heißt, das Paper validiert die Methode, nicht das ausgelieferte Modell. Ein starker Beleg dafür, dass die Architektur solide ist, aber überhaupt kein Beleg für das, was hinter dem Antragsformular sitzt.

Die Videozahlen, gelesen so, wie sie geschrieben wurden

Hier die vollständige Präferenzmenge aus dem Launch-Post, gemessen an 10-sekündigen Text-zu-Video-Clips in 720p mit Audio.

Zwei Dinge verdienen hier Anerkennung. Black Forest Labs hat die Niederlagen direkt neben den Siegen veröffentlicht und den Vorbehalt fett auf der eigenen Seite platziert: Modell und das umgebende Auswertungsverfahren sind noch in Entwicklung, die Ergebnisse sind also vorläufig und sollen sich noch verbessern.

Zwei Dinge verdienen genaueres Hinsehen. Das Vergleichsset wurde vom Anbieter gewählt, mit Prompts, die der Anbieter geschrieben hat, und Kling ist inzwischen über das benchmarkte v3 Pro hinaus zur 3.0-Familie weitergezogen. Und die ehrliche Zusammenfassung dieser Tabelle lautet "konkurrenzfähig zur aktuellen Front", nicht "der Front voraus", weil die beiden nächstliegenden Konkurrenten bei einem Münzwurf gelandet sind.

Nichts davon macht die Tabelle nutzlos. Es macht sie zu einer vom Anbieter selbst durchgeführten Leistungsmetrik, also einer echten Beweiskategorie mit bekannter Verzerrung, und man liest sie so, wie man jede selbst gemeldete Zahl liest: der Form vertrauen, das Ausmaß abziehen und die Niederlagen suchen. Black Forest Labs hat die Niederlagen immerhin gedruckt.

Wer diese acht Modelle lieber bepreist als nur eingeordnet haben will, findet genau das in meiner Aufschlüsselung der FLUX 3 Alternativen, und die ausführliche Launch-Analyse behandelt die Funktionsliste ausführlicher, als ein Test es braucht.

Die Bildbewertungen liefen an einem Modell, das noch trainiert wurde

Der Launch-Post sagt das klar, und kaum jemand hat es zitiert: Die Verbesserungen bei Bildern stammen aus vorläufigen Auswertungen, die während des Midtrainings durchgeführt wurden. Die Beispiele sehen tatsächlich stark aus, besonders bei Typografie und mehrsprachigem Textrendering, ausgerechnet dort, wo frühere FLUX-Versionen sichtbar geschwächelt haben.

Es lohnt sich, das mit dem zu vergleichen, wo die aktuelle Generation wirklich steht. Ein Betreiber einer Benchmark-Seite für komplexe Prompt-Treue bewertete FLUX.2 mit 5 von 15 Punkten, Ideogram 4 mit 8 und GPT Image 2 mit 12:

"I run a fairly high-traffic site for generative image models focusing on complex prompt adherence. Flux.2 doesn't score anywhere near SOTA proprietary models."

vunderba, Hacker News

Das ist die Lücke, die FLUX 3 Image schließen muss, und sie ist breit. Ein anderer Kommentator brachte den Frust noch direkter auf den Punkt:

"I have a feeling open-weight models ought to be outperforming proprietary ones by now, but that still hasn't happened."

rekpero, Hacker News

Für Bildarbeit, die diesen Monat noch ausgeliefert werden soll, würde ich FLUX.2 gegen Nano Banana 2, dessen Lite-Variante und GPT Image 2 vergleichen.

Wer nach Kosten statt nach Qualität wählt, für den ist der Dreier-Bildvergleich die Seite, die ich offen halte. Lokales Editieren ist noch mal eine eigene Fähigkeit, und dafür würde ich gegen Qwens Bildbearbeitung benchmarken.

Das ist auch die Hälfte von FLUX 3, die Content-Teams am meisten interessiert, denn eine Illustration ist der Teil eines Posts, den die meisten Leute ohnehin schon generieren. Wenn das euer Anwendungsfall ist, zählt die Pipeline mehr als das Modell: Blog-Automatisierung und Artikel schreiben mit Bildern zeigen, wie beides zusammenspielt, und Midjourneys Preisliste ist die Kostenbasis, an der ich mich orientiere.

Der Robotik-Abschnitt ist der beste Beleg in dieser Veröffentlichung

Wer nur einen Teil des FLUX-3-Materials liest, sollte den mimic-Post lesen. Dort wird eine Behauptung über Repräsentationen gegen die physische Realität getestet, und die physische Realität lässt sich sehr viel schwerer austricksen als eine Präferenzumfrage.

Black Forest Labs und mimic robotics haben FLUX-mimic gebaut, indem sie einen leichten Aktions-Decoder an den Videopfad von FLUX 3 gehängt haben, und Audi testet es bei produktiver Soft-Body-Manipulationsarbeit. Bei einer Soft-Body-Kitting-Aufgabe über 20 autonome Durchläufe lag der mediane Erfolg bei 95% für FLUX-mimic gegenüber 55% bei der pi-0.5-Baseline.

Die Zahl, die ich in einer Diskussion tatsächlich anführen würde, ist die aus der Kontrollbedingung. Mit eingefrorenem Backbone erreichte FLUX-mimic immer noch 65%, während ein eingefrorenes pi-0.5 auf 0% kam. Das Einfrieren des Backbones nimmt das Fine-Tuning aus der Gleichung, sodass nur die Qualität der Repräsentation übrig bleibt, die das Videomodell bereits mitgebracht hat. Das ist die gesamte These der Veröffentlichung, sauber getestet, mit einem Ergebnis, das peinlich hätte ausfallen können, wäre es andersherum gelaufen. Es trotzdem zu veröffentlichen, ist das mit Abstand Glaubwürdigste an diesem Launch.

Es ist auch kein Einzelfall im Feld. Gemini Robotics 2 macht eine strukturell ähnliche Wette von der Robotikseite statt von der Generierungsseite aus, was ein ziemlich gutes Zeichen dafür ist, dass die zugrunde liegende Idee nicht nur die Framing eines einzelnen Labors ist.

Die Self-Flow-Seite legt danach eine zweite Ebene derselben Geschichte drauf, diesmal aus der Simulation. Beim Fine-Tuning der videogewichteten multimodalen Läufe mit 675M Parametern und der Auswertung der Aktionsvorhersage im SIMPLER-Simulator schlug Self-Flow reines Flow Matching bei allen Aufgaben früh im Training, bei 30.000 Schritten, wo Flow Matching bei den Aufgaben Open und Place komplett versagte. Bei 100.000 Schritten hatten die Einzelobjekt-Aufgaben konvergiert, während Self-Flow bei den Mehrfachobjekt- und sequenziellen Aufgaben seinen Vorsprung hielt. Das Muster bleibt durchgehend konsistent: Der Vorteil zeigt sich bei den schwierigen kompositorischen Aufgaben und nicht bei den einfachen.

Ein Leser im Thread hat das Detail erwischt, das mich am meisten überzeugt hat, und das gar keine Erfolgsrate ist.

"The video at around 3.30min, where the robot arm took 3 attempts to reseat the window trim, was quite unnerving - I have not seen such resolving before."

GiffertonThe3rd, Hacker News

Nach einem Fehlschlag erneut zu versuchen, ohne dazu aufgefordert zu werden, ist eine andere Fähigkeit, als es beim ersten Mal richtig zu machen, und genau die zählt, sobald ein System unbeaufsichtigt läuft. Mich interessiert das aus demselben Grund, aus dem es mich bei Support-Automatisierung interessiert. Ein System, das weiß, dass es versagt hat, kann übergeben; eines, das das nicht weiß, hakt einfach eine selbstbewusst falsche Antwort ab und macht weiter. Das ist die These hinter KI-Agenten-Übergabe und hinter dem Verhindern von KI-Halluzinationen.

Ein anderer Kommentator hat die Architekturwette in einem einzigen Satz besser zusammengefasst als der Launch-Post selbst:

"Upshot: a well trained multimodal video generation model has a world representation model trained inside it."

vessenes, Hacker News

Der Belege-Check

Sechs Behauptungen, bewertet nach dem, was tatsächlich veröffentlicht wurde, nicht nach dem, was demonstriert wurde. Jede lässt sich aufklappen.

Wo dem Test die Straße ausgeht

Jeder Test muss irgendwann die Frage "sollte ich es kaufen" beantworten, und hier ist der Punkt, an dem ich anhalten muss.

Die Preisseite hat Tabs für FLUX.2, FLUX Tools und FLUX.1. FLUX 3 steht nicht darauf. Die Launch-Leiter geht zunächst über Video und Audio via APIs und privaten Gewichtszugang, dann über Aktionsvorhersage bei ausgewählten Partnern, beginnend mit mimic robotics, dann über Bildsynthese, und schließlich über offenen Gewichtszugang zum multimodalen Backbone als FLUX 3 Dev. Nur die erste Sprosse hat begonnen, und die Sprosse mit offenen Gewichten hat kein Datum.

Die nächstgelegenen echten Zahlen sind die FLUX.2-Tarife, und die zu kennen lohnt sich, weil sie wahrscheinlich die Form dessen vorgeben, was FLUX 3 verlangen wird:

Ein Megapixel bedeutet hier eine 1024x1024-Ausgabe. Die Abrechnung rundet für die Ausgabe separat auf und dann noch einmal für jedes Referenzbild, und alles über 4 MP wird verkleinert. Der Haken, der viele erwischt, ist genau diese Referenzbild-Zeile, denn ein Editier-Workflow mit drei Referenzen kostet spürbar mehr, als der Headline-Tarif vermuten lässt.

Was die Leute sagen, die diese Modelle tatsächlich betreiben

Der Launch-Thread kam auf 571 Punkte bei 133 Kommentaren, der mimic-Thread auf 318. Und die interessanteste Reaktion darin hatte überhaupt nichts mit Qualität zu tun. Es ging darum, für wen FLUX jetzt eigentlich gedacht ist.

"Given that Martin Scorsese is now an 'advisor', I suspect BFL will continue to position itself as the research lab for filmmakers."

jarjoura, Hacker News

Diese Lesart passt besser zu den Belegen als die Alternative. Ein Modell mit Preisen für VFX-Pipelines ist ein anderes Produkt als ein Modell mit Preisen für massenhafte Content-Generierung, und das Launch-Material neigt zu Ersterem. Wer auf billiges Volumen geplant hatte, findet dieses billige Volumen bei der [klein]-Stufe von FLUX.2, nicht hier.

Das früh zu klären, ist nützlich, denn es entscheidet, ob FLUX 3 überhaupt ins Budget passt. Ein Team, das einen Hero-Video pro Quartal produziert, und ein Team, das vierzig Social-Clips pro Woche produziert, wollen entgegengesetzte Dinge von einem Anbieter, und nur eines dieser beiden Teams sollte diesen Launch im Blick behalten. Die SEO-Seite dieser Pipeline erweist sich meist als die eigentliche Grenze, nicht die Rendering-Kosten.

Was ich daraus mitnehme, wenn KI-Einkauf mein Job ist

Ich tue nicht so, als sei ein Videomodell ein Helpdesk. Was sich übertragen lässt, ist die Testdisziplin, und dieser Teil überträgt sich exakt.

Das Muster dieses Launches ist dasselbe Muster wie bei den meisten KI-Pitches, die ich von der anderen Seite des Tisches sehe: Das Beeindruckende und das Kaufbare sind zwei verschiedene Dinge, und das Marketing trennt sie nicht für euch. Black Forest Labs war ehrlicher als die meisten, und trotzdem musste man die Preisseite lesen, um herauszufinden, dass das Produkt nicht käuflich ist. Anbieter im Bereich generative KI für den Kundenservice sind selten so transparent.

Die konkrete Version davon, die Support-Teams Geld kostet, ist Selbstbewusstsein. Ein Käufer in einem eesel-Vertriebsgespräch hat dieses Fehlermuster besser beschrieben, als ich es könnte.

"The AI will never be able to answer 100% of the questions, but if it tries and just answers 'sorry I don't know this,' I cannot go and check all my 7,000 tickets to see if the AI actually made a good answer. I need an AI who is only handling the tickets that it's confident to handle and all the other ones, leave them alone."

eine CX-Leitung mit 7.000 Tickets pro Monat, aus einem eesel-Vertriebsgespräch

Das ist derselbe Instinkt, der sich um die Zahl bei eingefrorenem Backbone kümmert statt um die Highlight-Reel. Man will das Verhalten am Rand kennen, nicht den besten Fall. Deshalb ist das Festlegen von Konfidenzschwellen die erste Konfigurationsentscheidung, die ich jedem zeige, noch vor Ton oder Abdeckung, und deshalb hängt KI-Agenten gegenüber klassischen Chatbots genau an dieser Eigenschaft.

Ein KI-Modell zu testen, das man nicht ausführen kann, ist frustrierend. Einen KI-Agenten zu testen, bevor man sich darauf festlegt, sollte es nicht sein. Das ist die eine Sache, die ich von jedem Anbieter in diesem Bereich verlangen würde, eesel eingeschlossen: Zeig mir meine eigenen Zahlen, bevor ich irgendetwas unterschreibe. Mit eesel richtet man es auf sein Helpdesk aus, es spielt die historischen Tickets ab, und was man zurückbekommt, ist die Lösungsquote auf dem eigenen Backlog statt eines Präferenzwerts aus fremden Prompts. Jede Aktion landet in einem Aktivitätslog, das sich zeilenweise auditieren lässt. Kostenlos zum Testen, und es dauert Minuten statt eines Antragsformulars. eesel testen

Wer die tiefere Version dieses Arguments will: KI für Tier-1-Deflection behandelt, was tatsächlich automatisiert wird, und generative KI für Support-Teams behandelt den Rollout.

Das Fazit

FLUX 3 ist der am besten dokumentierte Modell-Launch, den ich dieses Jahr gelesen habe, und gleichzeitig einer der am wenigsten nutzbaren. Wer Roboter baut oder in einer VFX-Pipeline arbeitet, sollte sich auf die Early-Access-Liste setzen lassen, denn dieses Ergebnis mit eingefrorenem Backbone sagt, dass die Repräsentation echt ist. Wer diese Saison Bilder oder Clips ausliefern muss, sollte etwas mit echter Preisliste nutzen und später noch mal nachsehen, wenn es einen Preis gibt. Und wer hier ist, weil die Bewertung von KI-Anbietern der eigentliche Job ist: Was man sich von diesem Launch wirklich abschauen sollte, ist nicht das Modell selbst. Es ist die Gewohnheit, die Kontrollbedingung zu veröffentlichen.

Was man stattdessen heute schon kaufen kann, deckt meine Übersicht der FLUX 3 Alternativen mit Preisen für acht davon anhand desselben Zehn-Sekunden-Clips ab, und die besten generativen KI-Tools behandeln das breitere Feld.

Wer in derselben Runde Textmodelle auswählt: Die drei günstigen Durchsatz-Optionen, gegen die ich benchmarke, sind DeepSeek V4 Flash, Gemini 3.5 Flash-Lite und Qwen 3.7 Flash.

Am oberen Ende stehen GPT-5.6 und Claude Opus 4.6, und welches LLM für Support geeignet ist behandelt die support-spezifische Einordnung aller genannten.

Sources

• FLUX 3 launch announcement, Black Forest Labs
• FLUX 3 x mimic, the video-action thesis
• Self-Flow research page, arXiv preprint 2603.06507
• FLUX 3 model page
• Black Forest Labs pricing
• FLUX.2 overview docs
• Launch thread, Hacker News, 571 points
• mimic thread, Hacker News, 318 points