Chaque nouveau modèle vidéo arrive accompagné des mêmes trois secondes : un visage qui se tourne vers la caméra dans une lumière d’heure dorée, une texture de peau impeccable, un arrière-plan flouté par le mouvement juste ce qu’il faut pour avoir l’air coûteux. C’est vraiment bon. Et ça ne me dit absolument rien sur la capacité de ce modèle à tenir un talking head pendant huit secondes avec le logo du client dans un coin, ni sur la survie des mains dans un gros plan produit à la troisième révision.
J’ai changé de modèle sur la foi de clips comme ceux-là. Deux fois, ce fut une erreur, et le coût n’était pas l’abonnement : c’était une semaine à réapprendre une syntaxe et à réécrire des prompts qui fonctionnaient déjà. Voici donc l’argument que je défendrais devant quiconque se laisse convaincre de changer en ce moment : la différence que vous voyez entre deux modèles dans une bande démo n’a presque aucun pouvoir prédictif pour votre projet. Non pas parce que les démos sont malhonnêtes. Mais parce qu’elles ont été produites dans des conditions que vous n’avez pas.
La démo répond à une autre question
Chaque démo que vous regardez a été réalisée avec une entrée optimale et sans contrainte de livraison.
Entrée optimale : l’image de référence a été choisie par quelqu’un qui avait déjà généré des dizaines de variantes et savait laquelle tient. Le prompt a été ajusté au fil de nombreux essais, et le clip que vous voyez est le meilleur d’entre eux. C’est une façon légitime de présenter un modèle. C’est aussi une tâche complètement différente de celle pour laquelle vous engagez ce modèle.
Sans contrainte de livraison : personne n’a demandé de déclinaison verticale. Personne n’avait besoin que le plan tombe à 6,5 secondes au lieu de 8. Personne n’avait besoin que le même visage survive à onze clips consécutifs dans une séquence, et personne n’avait de client réclamant une étiquette produit lisible à la quatrième seconde.
La question à laquelle répond une démo, c’est « quel est le plafond de ce modèle ? ». Votre question, c’est « quel est son rendement ? ». Ce sont deux nombres différents, et ils ne classent pas les modèles dans le même ordre assez souvent pour que l’un puisse remplacer l’autre.
La vidéo comparative est un signal encore plus faible
Les démos officielles viennent au moins de gens qui ont construit la chose. Les vidéos comparatives, elles, sont montées pour être regardables, ce qui signifie que le montage retire exactement l’information dont vous avez besoin. Un face-à-face ne vous montre jamais la quatrième tentative. Ce que vous voulez savoir, c’est combien d’essais il a fallu pour obtenir le clip que vous regardez, et ce nombre est la première chose qui part au montage.
Il y a aussi une raison structurelle pour laquelle ce format ne peut pas vous aider : « les deux sont bien, ça dépend de vos plans » ne génère pas de clics. Ce n’est pas de la malveillance, c’est de la sélection. Le genre est conçu pour produire un vainqueur, et votre projet n’est peut-être pas celui pour lequel ce vainqueur a été conçu.
Ce qui prédit réellement votre projet : le rendement
Pour un type de plan donné et un modèle donné, le rendement, c’est le nombre de tentatives par résultat exploitable. Si un modèle obtient une prise exploitable du premier coup et que l’autre en a besoin de trois, cela représente un écart de un à trois dans le coût en temps de votre plan le plus courant — et sur un projet de vingt plans, cet écart, c’est tout votre planning.
Qualité de pointe et rendement sont corrélés, mais ce n’est pas la même chose, et ils s’inversent assez souvent pour qu’on ne puisse pas substituer l’un à l’autre. Ce qui prédit votre livraison, c’est le rendement sur les trois types de plans que vous tournez le plus. Ce nombre se calcule en un après-midi, sur vos propres rushes.
Le test : trois types de plans, deux modèles, deux tentatives chacun
1. Choisissez trois types de plans que vous tournez réellement
Trois, pas un, et des types plutôt qu’un plan héroïque isolé — un plan a de la chance, un type de plan moyenne la chance.
Si votre travail ressemble un tant soit peu au mien, les trois sont : un plan moyen de talking head (stabilité du visage, synchronisation labiale, mouvement subtil), un gros plan de main (là où le détail fin échoue le plus bruyamment — manipulation de produit, gestes, doigts près d’objets), et une transition d’environnement (un mouvement de caméra traversant un espace, sans sujet pour distraire du déchirement). Si la moitié de votre production est constituée de produits en rotation ou de plans de versement culinaire, testez ceux-là à la place. Les catégories importent moins que la règle : ce doivent être les plans que vous générez le plus souvent, pas ceux qui rendent le mieux.
2. Figez le squelette de prompt avant de lancer quoi que ce soit
Écrivez la structure et réutilisez-la mot pour mot sur les deux modèles. Le squelette avec lequel je travaille ressemble à ceci :
[type de plan], [sujet + tenue], [cadrage/objectif], [mouvement de caméra],
[éclairage], [rythme de mouvement sur N secondes], [style], [négatifs]
L’idée n’est pas que ce soit le meilleur squelette qui existe. L’idée, c’est qu’il ne change pas entre le modèle A et le modèle B — sinon vous mesurez votre rédaction de prompts, pas les modèles. N’adaptez la syntaxe que là où une plateforme l’impose (mots-clés de mouvement de caméra, options de format d’image), faites cette adaptation une fois, puis verrouillez-la. Si vous préférez ne pas construire les squelettes de zéro, il en existe de prêts à l’emploi pour l’image, la vidéo et la musique sur awesome-prompts.com ; j’en garde deux dans un fichier de notes exactement pour cela.
3. Deux tentatives chacun — et consignez les échecs
Trois types de plans, deux modèles, deux tentatives : douze générations. Assez peu pour les lancer pendant qu’un appel client se déroule en arrière-plan, assez pour distinguer « chanceux » de « à peu près fiable ».
Deux tentatives, c’est délibéré. Une seule ne permet pas de distinguer la chance de la fiabilité, et cinq commencent à mesurer le plafond — le nombre que les démos vous ont déjà donné.
Le journal compte plus que les générations. Pour chacune des douze, notez trois choses :
- L’indice de la tentative où vous avez obtenu quelque chose d’exploitable — première, deuxième, ou jamais
- Ce qui a précisément échoué sur les autres : dérive d’identité, fonte des mains, déformation de l’arrière-plan, mouvement de caméra ignoré, durée tronquée
- Si le résultat a survécu à votre vraie contrainte — format d’image, durée cible, continuité avec le plan précédent de la séquence
4. Notez les tentatives-par-résultat-exploitable, pondérées par votre plan le plus courant
Faites une grille de trois par deux. Les lignes sont les types de plans, les colonnes les modèles, et les cellules indiquent première / deuxième / jamais.
Puis pondérez plutôt que comptez. Si l’essentiel de vos livraisons est constitué de talking heads, la ligne talking head tranche le débat et les deux autres servent d’arbitres. Si votre mélange est équilibré, additionnez les indices de tentative et gardez le total le plus bas. Le résultat de cet exercice tient en une phrase que vous pouvez dire à voix haute : « Pour mes trois plans les plus courants, ce modèle me donne quelque chose d’exploitable en environ X tentatives. »
Les règles de décision que j’applique
Le plus faible nombre de tentatives-par-résultat-exploitable sur mon plan le plus fréquent l’emporte, même quand la meilleure sortie de l’autre modèle est plus jolie. Une livraison se juge sur les plans qui sont sortis, pas sur ceux que j’ai imaginés.
Si les deux modèles sont à une tentative près l’un de l’autre sur toute la grille, je ne change pas. Réapprendre une syntaxe, réécrire une bibliothèque de prompts, retester chaque gabarit — c’est un coût réel, et il n’apparaît jamais dans la bande démo.
Je ne change pas à cause d’une annonce. Je change quand la grille le dit, ou quand un brief exige un type de plan qu’aucun des deux modèles ne sait produire.
Un modèle simplement bon partout mais qui échoue rarement bat un modèle au plafond spectaculaire et au rendement d’un sur cinq. Le premier me permet d’annoncer une échéance.
Ce qui met ce test en échec
Douze générations ne prouvent rien statistiquement. Traitez cela comme un filtre, pas comme un verdict — c’est conçu pour éliminer une option manifestement mauvaise en une heure plutôt que de découvrir le problème sur un mauvais trimestre.
L’inadéquation de syntaxe est l’autre piège. Si un modèle attend un dialecte de prompt réellement différent, accordez-lui une manche d’adaptation équitable avant de figer le squelette, sinon vous finirez par mesurer votre propre méconnaissance.
Une entrée sale le ruine aussi. Si votre référence est une capture d’écran floue, les deux modèles échouent et vous vous en prendrez à la mauvaise chose. Une entrée propre améliore le rendement plus que la plupart des changements de modèle.
Et la grille se périme. Si vous avez testé trois types de plans ce mois-ci et que vos briefs passent à six le mois prochain, refaites le test quand votre travail change de forme — pas quand l’actualité le fait.
Les questions qui surgissent la veille d’une livraison
Et si aucun des deux modèles ne me donne un plan exploitable à la deuxième tentative ?
Soupçonnez d’abord tout ce qui se trouve en amont du modèle : l’image de référence, le format d’image, la durée. Un plan qui exige neuf secondes de mouvement cohérent doit souvent être scindé en deux générations puis monté. Avant de conclure que les deux modèles sont mauvais, relancez le même prompt avec une référence plus propre et une durée plus courte. La durée est la variable la moins coûteuse à changer.
Faut-il tester avec une image de référence ou en texte seul ?
Testez avec l’entrée que vous utiliserez réellement en production. Si votre flux de travail part d’une image fixe générée, testez à partir d’une image fixe — des résultats en texte seul paraîtront plus impressionnants et signifieront moins. Si vous générez ces images fixes dans un autre outil, la qualité de cet outil est une question distincte de celle du modèle vidéo à acheter.
À quelle fréquence faut-il refaire le test ?
Quand un type de plan devient courant dans votre travail, quand vous êtes sur le point de vous engager sur un forfait annuel, ou quand un mauvais choix vous coûterait un retournage. C’est tout. Pas à chaque sortie.
La prochaine fois qu’un clip vous donne envie de changer, gardez-le — mais n’agissez pas dessus. Une bande démo est une affirmation sur un plafond. La seule chose qui prédit votre projet, c’est ce qui se passe sur vos propres rushes, sur vos trois plans les plus courants, à un nombre de tentatives qui tient dans votre budget. Choisissez ces trois plans aujourd’hui, avant que la prochaine annonce tombe. La réponse est en général moins spectaculaire que le fil d’actualité, et nettement moins chère que de la découvrir en pleine livraison.