Jedes neue Videomodell kommt mit denselben drei Sekunden: ein Gesicht, das sich im Licht der goldenen Stunde zur Kamera dreht, die Hauttextur makellos, die Bewegung im Hintergrund gerade so weichgezeichnet, dass es teuer aussieht. Das ist wirklich gut. Es sagt mir aber nichts darüber, ob dieses Modell acht Sekunden lang einen Talking Head halten kann, während das Logo des Kunden in der Ecke sitzt, oder ob die Hände in einer Produkt-Nahaufnahme beim dritten Durchlauf noch durchhalten.
Ich habe schon wegen solcher Clips das Modell gewechselt. Zweimal war das ein Fehler, und teuer war nicht das Abo — teuer war eine Woche, in der ich die Syntax neu lernen und Prompts umschreiben musste, die vorher funktioniert hatten. Deshalb hier das Argument, das ich jedem entgegenhalten würde, dem gerade ein Wechsel eingeredet wird: Der Unterschied, den du zwischen zwei Modellen in einem Demo-Reel siehst, hat für dein Projekt kaum Vorhersagekraft. Nicht, weil die Demos unehrlich wären. Sondern weil sie unter Bedingungen entstanden sind, die du nicht hast.
Das Demo beantwortet eine andere Frage
Jede Demo, die du dir ansiehst, wurde mit optimalem Input und ohne Liefervorgaben erstellt.
Optimaler Input heißt: Das Referenzbild hat jemand ausgewählt, der bereits Dutzende Varianten generiert hatte und wusste, welche hält. Der Prompt wurde über viele Durchläufe hinweg optimiert, und der Clip, den du siehst, ist der beste davon. Das ist eine legitime Art, ein Modell zu zeigen. Es ist zugleich eine völlig andere Aufgabe als die, für die du das Modell eigentlich einspannst.
Keine Liefervorgaben heißt: Niemand wollte einen vertikalen Cutdown. Niemand brauchte den Shot bei 6,5 statt 8 Sekunden. Niemand brauchte dasselbe Gesicht über elf aufeinanderfolgende Clips einer Sequenz hinweg, und niemand hatte einen Kunden, der das Produktetikett in Sekunde vier lesbar haben will.
Die Frage, die eine Demo beantwortet, lautet: „Was ist die Obergrenze dieses Modells?“ Deine Frage lautet: „Was ist seine Ausbeute?“ Das sind unterschiedliche Zahlen, und sie ordnen Modelle nicht oft genug in derselben Reihenfolge, als dass eine die andere ersetzen könnte.
Vergleichsvideos sind ein noch schwächeres Signal
Offizielle Demos stammen wenigstens von Leuten, die das Ding gebaut haben. Vergleichsvideos sind auf Anschaubarkeit geschnitten, und das heißt: Der Schnitt entfernt genau die Informationen, die du brauchst. Ein Side-by-Side zeigt dir nie den vierten Versuch. Du willst wissen, wie viele Anläufe nötig waren, um den Clip zu bekommen, den du gerade siehst — und diese Zahl fliegt als Erstes aus dem Schnittraum.
Dazu kommt ein struktureller Grund, warum das Format dir nicht helfen kann: „Beide sind gut, es kommt auf deine Shots an“ wird nicht geklickt. Das ist keine Böswilligkeit, das ist Selektion. Das Genre ist darauf angelegt, einen Sieger zu produzieren, und dein Projekt ist womöglich nicht das, für das dieser Sieger gebaut wurde.
Was dein Projekt tatsächlich vorhersagt: die Ausbeute
Für einen bestimmten Shot-Typ und ein bestimmtes Modell ist die Ausbeute die Zahl der Versuche pro brauchbarem Ergebnis. Wenn ein Modell schon im ersten Anlauf einen brauchbaren Take liefert und das andere drei braucht, ist das ein dreifacher Unterschied bei den Zeitkosten deines häufigsten Shots — und über ein Projekt mit zwanzig Shots ist genau dieser Unterschied dein gesamter Zeitplan.
Spitzenqualität und Ausbeute korrelieren, sind aber nicht dasselbe, und sie kehren sich oft genug um, dass man das eine nicht gegen das andere tauschen kann. Was deine Lieferung vorhersagt, ist die Ausbeute bei den drei Shot-Typen, die du am häufigsten drehst. Diese Zahl lässt sich an einem Nachmittag mit deinem eigenen Material ermitteln.
Der Test: drei Shot-Typen, zwei Modelle, je zwei Versuche
1. Wähle drei Shot-Typen, die du tatsächlich drehst
Drei, nicht einer — und Typen statt eines einzelnen Hero-Shots: Ein einzelner Shot hat Glück, ein Shot-Typ mittelt das Glück heraus.
Wenn deine Arbeit auch nur entfernt wie meine aussieht, sind das: eine Talking-Head-Halbnahme (Gesichtsstabilität, Lip-Sync, subtile Bewegung), eine Hand-Nahaufnahme (wo feine Details am lautesten versagen — Produkthandling, Gesten, Finger in Objektnähe) und ein Umgebungsübergang (eine Kamerabewegung durch einen Raum, in dem kein Motiv von Verzerrungen ablenkt). Wenn die Hälfte deiner Produktion aus Produkt-Drehtellern oder Food-Pour-Shots besteht, teste stattdessen die. Die Kategorien sind weniger wichtig als die Regel: Es sollten die Shots sein, die du am häufigsten generierst, nicht die, die am besten aussehen.
2. Friere das Prompt-Gerüst ein, bevor du irgendetwas laufen lässt
Schreib dir das Gerüst auf und verwende es wortgleich für beide Modelle. Das Skelett, mit dem ich arbeite, sieht so aus:
[shot type], [subject + wardrobe], [framing/lens], [camera move],
[lighting], [motion beat across N seconds], [style], [negatives]
Es geht nicht darum, dass dies das beste Skelett überhaupt wäre. Es geht darum, dass es sich zwischen Modell A und Modell B nicht ändert — sonst misst du dein Prompt-Schreiben, nicht die Modelle. Passe die Syntax nur dort an, wo eine Plattform es erzwingt (Kamerabewegungs-Keywords, Seitenverhältnis-Flags), mach diese Anpassung einmal und friere sie dann ein. Wenn du die Gerüste lieber nicht von Grund auf selbst baust: Unter awesome-prompts.com gibt es fertige für Bild-, Video- und Musikarbeit; ich halte zwei davon in einer Notizdatei genau für diesen Zweck vor.
3. Je zwei Versuche — und protokolliere die Fehlschläge
Drei Shot-Typen, zwei Modelle, zwei Versuche: zwölf Generierungen. Klein genug, um sie nebenbei laufen zu lassen, während im Hintergrund ein Kundentelefonat läuft, groß genug, um „Glück“ von „einigermaßen verlässlich“ zu trennen.
Zwei Versuche sind Absicht. Ein Versuch kann Glück nicht von Verlässlichkeit unterscheiden, und fünf Versuche beginnen die Obergrenze zu messen — also die Zahl, die du aus den Demos schon hast.
Das Protokoll ist wichtiger als die Generierungen. Notier für jede der zwölf drei Dinge:
- Den Versuchsindex, bei dem etwas Brauchbares herauskam — erster, zweiter oder nie
- Was bei den anderen konkret versagt hat: Identity Drift, schmelzende Hände, Hintergrundverzerrung, ignorierte Kamerabewegung, abgeschnittene Dauer
- Ob es deine echte Vorgabe überstanden hat — Seitenverhältnis, Zieldauer, Anschluss an den vorherigen Shot der Sequenz
4. Bewerte Versuche-pro-brauchbares-Ergebnis, gewichtet nach deinem häufigsten Shot
Erstelle ein Raster mit drei Zeilen und zwei Spalten. Die Zeilen sind die Shot-Typen, die Spalten die Modelle, in den Zellen steht erster / zweiter / nie.
Dann gewichte, statt zu zählen. Wenn der Großteil deiner Lieferungen aus Talking Heads besteht, entscheidet die Zeile der Talking Heads, und die beiden anderen Zeilen geben nur bei Gleichstand den Ausschlag. Ist deine Mischung ausgeglichen, addiere die Versuchsindizes und nimm die niedrigere Summe. Das Ergebnis dieser Übung ist ein Satz, den du laut sagen kannst: „Bei meinen drei häufigsten Shots liefert mir dieses Modell nach etwa X Versuchen etwas Brauchbares.“
Die Entscheidungsregeln, nach denen ich arbeite
Weniger Versuche pro brauchbarem Ergebnis bei meinem häufigsten Shot gewinnen — selbst wenn das beste Ergebnis des anderen Modells hübscher ist. Lieferungen werden nach den Shots beurteilt, die herausgekommen sind, nicht nach denen, die ich mir vorgestellt habe.
Liegen die beiden Modelle im Raster nur einen Versuch auseinander, wechsle ich nicht. Syntax neu lernen, eine Prompt-Bibliothek umschreiben, jede Vorlage neu testen — das sind echte Kosten, und sie tauchen in keinem Demo-Reel auf.
Ich wechsle nicht wegen einer Ankündigung. Ich wechsle, wenn das Raster es sagt — oder wenn ein Briefing einen Shot-Typ verlangt, den keines der beiden Modelle hinbekommt.
Ein Modell, das in allem nur gut ist, aber selten versagt, schlägt ein Modell mit spektakulärer Obergrenze und einer Ausbeute von einem Treffer bei fünf Versuchen. Mit dem ersten kann ich einen Termin zusagen.
Was diesen Test kaputt macht
Zwölf Generierungen beweisen statistisch nichts. Behandle sie als Filter, nicht als Urteil — sie sind darauf ausgelegt, eine offensichtlich falsche Option in einer Stunde auszuschließen, statt das Problem über ein schlechtes Quartal hinweg zu entdecken.
Die andere Falle ist ein Syntax-Mismatch. Wenn ein Modell einen wirklich anderen Prompt-Dialekt verlangt, gönn ihm eine faire Runde Anpassung, bevor du das Skelett einfrierst — sonst misst du am Ende nur deine eigene Unvertrautheit.
Schmutziger Input ruiniert ihn ebenfalls. Wenn deine Referenz ein verwackelter Screenshot ist, versagen beide Modelle, und du gibst dem Falschen die Schuld. Sauberer Input verbessert die Ausbeute stärker als die meisten Modellwechsel.
Und das Raster veraltet. Wenn du diesen Monat drei Shot-Typen getestet hast und deine Briefings nächsten Monat auf sechs umschwenken, wiederhole den Test, wenn sich deine Arbeit verändert — nicht, wenn die Nachrichten es tun.
Die Fragen, die am Abend vor einer Lieferung aufkommen
Was, wenn mir keines der beiden Modelle im zweiten Versuch einen brauchbaren Shot liefert?
Verdächtige zuerst alles, was dem Modell vorgelagert ist: das Referenzbild, das Seitenverhältnis, die Dauer. Ein Shot, der neun Sekunden konsistente Bewegung braucht, muss oft in zwei Generierungen aufgeteilt und zusammengeschnitten werden. Bevor du schließt, dass beide Modelle schlecht sind, lass denselben Prompt mit einer saubereren Referenz und kürzerer Dauer noch einmal laufen. Die Dauer ist die billigste Variable, die du ändern kannst.
Sollte ich mit Referenzbild oder nur mit Text testen?
Teste mit dem Input, den du in der Produktion tatsächlich verwendest. Wenn dein Workflow mit einem generierten Standbild beginnt, teste von einem Standbild aus — reine Text-Ergebnisse sehen beeindruckender aus und bedeuten weniger. Wenn du diese Standbilder in einem anderen Tool erzeugst, ist die Frage, wie gut dieses Tool ist, eine andere als die, welches Videomodell du kaufst.
Wie oft sollte ich den Test wiederholen?
Wenn ein Shot-Typ in deiner Arbeit häufig wird, wenn du dich gleich auf einen Jahresplan festlegst oder wenn eine falsche Entscheidung dich einen Reshoot kosten würde. Das war’s. Nicht bei jedem Release.
Wenn dich das nächste Mal ein Clip zum Wechseln verleiten will, speicher ihn dir — aber handle nicht danach. Ein Demo-Reel ist eine Behauptung über eine Obergrenze. Das Einzige, was dein Projekt vorhersagt, ist das, was mit deinem eigenen Material passiert, bei deinen drei häufigsten Shots, mit einer Zahl von Versuchen, die in dein Budget passt. Wähle diese drei Shots noch heute aus, bevor die nächste Ankündigung landet. Die Antwort ist meist weniger dramatisch als der Feed — und deutlich billiger, als es mitten in einer Lieferung herauszufinden.