Mise en cache de prompt : alléger la facture des agents IA (modèles OpenAI sur Amazon Bedrock)
D'après Billet technique AWS (blogue Amazon Machine Learning), relayé par AWS Machine Learning
Photo : Lucent_Designs_dinoson20, Pixabay
Rédigé à partir de la source originale; chaque fait est vérifié contre le texte source.
À retenir
- La mise en cache de prompt garde l'état déjà calculé du prompt (instructions, outils, contenu) et le réutilise quand la requête suivante commence par le même texte : on ne repaie plus le préfixe, seul le contenu neuf est traité.
- Sur Amazon Bedrock, deux modes coexistent : implicite, où Bedrock choisit lui-même où s'arrête le préfixe réutilisable, et explicite, où le code marque ce point de rupture. AWS recommande de combiner les deux.
- La règle d'or : garder stable le début du prompt. On place d'abord les outils et les instructions partagés, puis l'historique. Changer un horodatage, un message ou une définition d'outil empêche la réutilisation au-delà du changement.
- Deux seuils à connaître : un préfixe n'est mis en cache qu'à partir de 1 024 jetons, et il reste réutilisable au moins 30 minutes après sa dernière écriture ou réutilisation réussie. Attention, une écriture en cache coûte 1,25 fois le tarif d'entrée normal.
- Le guide vient d'AWS et vise les modèles OpenAI offerts sur son service Amazon Bedrock : il montre comment faire, ce n'est pas un palmarès neutre des fournisseurs. Les économies chiffrées sont des exemples modélisés par AWS, pas une garantie.
Pourquoi ça compte
La facture d'un agent grossit à chaque tour, parce qu'il repaie la relecture de tout le contexte. La mise en cache de prompt casse cette boucle : le service garde l'état déjà calculé du prompt et le réutilise à une fraction du prix d'entrée quand la requête suivante commence par le même texte. Dans un exemple modélisé par AWS, pour un agent de 8 000 jetons de préfixe de départ et six tours, les points de rupture mobiles ont ramené le coût d'entrée de 0,87 $ à 0,32 $ par session, soit 64 % de moins.
Chiffre-clé
64 % : la baisse du coût d'entrée par session dans l'exemple modélisé par AWS (de 0,87 $ à 0,32 $), pour un agent propulsé par un modèle OpenAI sur Amazon Bedrock avec des points de rupture mobiles. Un chiffre d'illustration, pas une promesse : les prix réels dépendent du modèle et de l'usage.
Citation
« La mise en cache de prompt casse la boucle : le service stocke votre prompt d'entrée et le réutilise à la requête suivante, à une fraction du prix d'entrée. » Billet technique d'AWS (blogue Amazon Machine Learning), rendu en français
Action concrète
Si tu bâtis un agent IA (service à la clientèle, assistant de code, automatisation), regarde si ton fournisseur offre la mise en cache de prompt. Pour en profiter, range d'abord les éléments stables (outils, instructions) en tête du prompt et garde-les identiques d'un appel à l'autre, puis préchauffe ce contenu partagé avant de lancer des agents auxiliaires en parallèle. Et surtout, mesure avant de conclure : surveille dans la réponse les jetons lus et écrits en cache, et compare les économies de lecture au surcoût des écritures (une écriture coûte plus cher qu'une entrée normale).
Fondée sur la source originale
