Audit de bibliothèque de prompts : intention vs dialecte de modèle

Il y a un prompt qui traîne dans mon dossier d’images et qui ressemble à ceci :

cinematic portrait, 85mm, (rim light:1.3), deep shadows, masterpiece, best quality, 8k, ultra detailed, trending on ArtStation --ar 2:3 --stylize 400 --no watermark

Il fonctionnait. Il fonctionnait si fiablement que j’ai cessé de le lire, puis j’ai commencé à le cloner — une version nocturne, une version en gros plan, une pour un sujet aux cheveux sombres, parce que le poids interagissait différemment avec la lumière. Puis j’ai pointé la même chaîne vers un modèle plus récent et j’ai obtenu quelque chose de brillant et surexposé, légèrement plastique : une photo de stock de l’idée que j’avais eue. Ce prompt avait cessé de décrire une image depuis longtemps. Pendant l’essentiel de sa vie, il avait bataillé contre un ensemble d’habitudes que le modèle n’avait plus.

J’ai vu cela se produire assez de fois maintenant — image, vidéo, texte — pour dire sans détour la version inconfortable. L’essentiel de ce que l’internet appelle le prompt engineering est du dialecte. Le dialecte ne vous appartient pas. Vous ne possédez pas la syntaxe, vous n’en fixez pas le taux de change, et vous découvrez ce dont votre bibliothèque était réellement faite à l’instant où l’éditeur livre une nouvelle version.

Chaque prompt que vous possédez est deux prompts superposés

Prenez n’importe quel prompt de votre bibliothèque et scindez-le. Vous y trouverez une description et un dialecte emmêlés dans la même ligne.

La colonne de droite est un cahier des charges. Vous pourriez la confier à un directeur artistique, un réviseur ou un directeur de la photographie, et obtenir quelque chose de proche de ce que vous vouliez. La colonne de gauche n’a de sens que pour une implémentation conçue pour la lire — et elle n’a aucune signification pour la version qui la remplace.

Voilà tout le problème en une phrase : la description est un actif, le dialecte est une position dans le parseur de quelqu’un d’autre. Les actifs prennent de la valeur. Les positions sont réévaluées du jour au lendemain.

Le dialecte n’expire pas, il se met à travailler contre vous

L’hypothèse confortable est que les astuces périmées deviennent neutres — un poids mort qu’on peut porter jusqu’à ce qu’on trouve le temps de faire le ménage. En général, elles deviennent activement nuisibles, de quatre façons distinctes.

La compensation d’un défaut. Une grande part des astuces en circulation ont été inventées pour combattre quelque chose que le modèle faisait mal : un biais du décodeur en faveur d’un éclairage plat, une tendance à insérer des préambules, une habitude de dériver loin du brief. L’incantation fonctionne parce que le défaut est là. Corrigez le défaut, et la compensation se transforme en distorsion — c’est pourquoi la soupe de tags qui produisait autrefois des images riches en produit désormais de plastiques, et pourquoi les costumes de jeu de rôle qui aiguisaient autrefois le ton ne font plus que consommer du contexte.

Le surpilotage. Un mur d’adjectifs se lit comme une instruction pour un modèle faible et comme du bruit pour un modèle puissant. Les contraintes que vous avez ajoutées pour tenir un générateur chancelant dans le droit chemin deviennent la chose la plus bruyante de la pièce dès que le générateur sait se tenir tout seul. Vous n’avez pas amélioré les choses ; vous avez mis en minorité le goût propre du modèle avec une liste de mots.

L’échafaudage redondant. « Think step by step » accolé à un modèle qui fait déjà un travail intermédiaire, ou un préambule système exigeant une posture cognitive particulière d’une entité qui n’en a jamais eu d’autre. Ce n’est pas fatal, mais ce sont des tokens dépensés pour rien, et c’est une chose de plus à revérifier à chaque mise à niveau.

Le flag qui ne se parse pas. Déplacez la même chaîne dans un autre outil ou une autre interface, et les paramètres cessent d’être des paramètres. Selon le logiciel, ils sont silencieusement abandonnés ou interprétés comme du contenu littéral, et le sens de votre prompt change sans le moindre message d’erreur. Une interface qui n’offre plus de champ de prompt négatif ignore simplement la moitié de votre prompt qui y résidait.

Le dommage est invisible de la manière habituelle : la sortie se dégrade, vous blâmez le modèle, et vous concluez qu’un modèle plus intelligent est curieusement moins bon pour votre truc. Le bon diagnostic, c’est que votre prompt était un remède temporaire contre une maladie désormais guérie.

Ce qui survit à un remplacement, c’est le cahier des charges — et le goût

Retirez d’un prompt tout ce qui est spécifique au modèle, et ce qui reste est la partie qui vous appartient vraiment : le sujet, la lumière, le cadrage, le médium, l’ambiance, ce que vous excluez. Pour le travail de texte : le public, l’objectif, le niveau d’exigence que vous maintenez, la forme du livrable, la retouche que vous demandez, ce que vous ne voulez pas qu’il fasse.

Rien de tout cela n’est exotique. C’est le vocabulaire du métier, et c’est précisément là l’essentiel — les mots qu’un directeur artistique emploie pour la lumière, ceux qu’un monteur emploie pour une coupe, ceux qu’un éditeur commanditaire emploie pour un brief. Ils se transposent parce qu’ils n’ont jamais été adressés à un modèle. Ils étaient adressés à un résultat.

Le second actif transférable est plus froid et moins amusant : votre capacité à dire si la sortie est bonne. Une bibliothèque de prompts ne vaut rien si vous ne savez pas évaluer ce qui revient ; un goût auquel vous faites confiance survit à toutes les mises à niveau, et c’est ce qui fait d’un nouveau modèle une opportunité plutôt qu’une menace.

Mis bout à bout, c’est là tout le recadrage. Vous n’appreniez jamais le modèle. Vous appreniez à dire ce que vous voulez dire, et à juger ce qui revient.

L’audit : deux couleurs, une heure, toute votre bibliothèque

Vous n’avez pas besoin de tout réécrire. Vous avez besoin de savoir ce qui est quoi.

1. Échantillonnez. Prenez vingt-cinq prompts dans vos catégories — image, vidéo, texte, tout ce que vous utilisez. Si vous en avez moins, prenez-les tous.
2. Le passage à deux couleurs. Parcourez chacun token par token et marquez-le comme intention ou dialecte. Les poids, les flags, les mots déclencheurs, les empilements de suffixes, les costumes de rôle, l’échafaudage de format : dialecte. Tout ce sur quoi un humain compétent pourrait agir : intention.
3. Appliquez le test humain. Un freelance talentueux, à qui l’on donne uniquement ce prompt, produirait-il quelque chose de proche de ce que vous voulez ? S’il lui fallait connaître l’incantation, c’est du dialecte.
4. Notez la fragilité. Estimez la part de dialecte de chaque prompt. En dessous d’un cinquième, il est assez portable. Au-dessus d’un tiers, c’est un actif captif d’un modèle et vous devez le traiter comme périmable.
5. Réduisez à une version canonique. Rédigez le prompt d’intention seule comme version maître. Conservez les fragments spécifiques au modèle dans un fichier adaptateur distinct par outil, daté, pour que le dialecte soit quelque chose que vous attachez plutôt que quelque chose que vous stockez.
6. Reconstruisez-en un de mémoire. Choisissez votre prompt le plus utilisé, fermez le fichier et réécrivez le même brief de zéro. Si vous n’arrivez pas à vous en approcher, c’est que ce prompt portait une connaissance que vous n’avez jamais eue — ce qui est la découverte la plus précieuse que l’audit puisse produire.

Ensuite, gardez cinq à dix briefs courts dans un dossier comme jeu d’évaluation, avec votre jugement écrit de la dernière fois que vous les avez exécutés. Un nouveau modèle arrive, vous relancez le jeu, vous relisez vos propres notes, vous savez ce qui a changé en vingt minutes au lieu d’un week-end perdu.

Où passent les cent prochaines heures

Dans la description : la lumière, la composition, l’objectif, la grammaire du montage, le rythme de la prose, l’écriture de briefs. Dans le goût : exécuter souvent le même brief, noter pourquoi un résultat est meilleur qu’un autre. Dans l’infrastructure ennuyeuse : des maîtres d’intention, des adaptateurs datés, un jeu d’évaluation, un journal des modifications. Dans l’apprentissage à spécifier un résultat assez précisément pour qu’un collaborateur humain le trouve clair.

Pas dans la mémorisation de la syntaxe des flags avant d’en avoir besoin, ni dans la collection de packs de prompts spécifiques à un modèle comme s’il s’agissait d’actifs. Ils ressemblent davantage à de la matière première. Lisez-les pour l’intention qui s’y trouve et laissez le dialecte là où vous l’avez trouvé — la même discipline s’applique aux collections publiques, y compris celles de awesome-prompts.com, qui sont surtout utiles lorsqu’on les traite comme des descriptions d’effets plutôt que comme des recettes à copier-coller.

Comment savoir si un prompt est spécifique à un modèle ?

Appliquez le test humain. Si une personne compétente, lisant uniquement le prompt, ne peut pas dire ce que vous demandez, c’est que le prompt fait son travail par les bizarreries du modèle plutôt que par le sens. Le second indice est de savoir si le prompt fonctionne encore quand vous supprimez les entiers, les crochets et les flags en fin de ligne. S’il s’effondre, c’est qu’ils portaient la structure.

Dois-je supprimer mes anciens prompts ?

Ne supprimez pas l’intention. Pour chaque ancien prompt, extrayez la description, archivez-la comme version maître, et supprimez le dialecte pur — les empilements de mots-clés qui ne veulent rien dire pour un humain et n’existent que pour orienter un décodeur précis. Les garder « au cas où », c’est ainsi que vous finissez par transporter trois cents fichiers auxquels vous ne pouvez ni faire confiance ni attribuer une note.

Ne vaut-il pas quand même la peine d’apprendre les bizarreries d’un nouveau modèle ?

Oui, à peu de frais. Savoir comment un outil veut qu’on lui parle est un vrai avantage les premières semaines. Gardez simplement cette connaissance dans le fichier adaptateur, daté, et attendez-vous à ce qu’elle soit jetable. L’erreur n’est pas d’apprendre le dialecte ; c’est de le stocker au même endroit que la partie que vous comptez garder.

À quelle fréquence dois-je refaire l’audit ?

Quand un modèle dont vous dépendez change, et quand vous vous surprenez à copier une chaîne que vous ne comprenez plus. Une fois par trimestre suffit. Une fois par mois, c’est de la procrastination déguisée en zèle.

Ouvrez votre bibliothèque, choisissez les cinq prompts que vous utilisez le plus, et faites le passage à deux couleurs ce soir. Le ratio que vous obtenez est une réponse assez honnête à la question de savoir quelle part des trois dernières années est allée dans la monnaie qui tient, et quelle part dans des tickets qui allaient de toute façon expirer.