Ne vous précipitez pas vers un modèle moins cher : Calculer le coût effectif en tenant compte du cache

Dans la communauté technologique, le taux de réussite du KV-cache est souvent souligné comme un facteur clé dans l'optimisation des coûts. Différentes sources, y compris des discussions sur l'ingénierie contextuelle et l'optimisation des agents IA, en soulignent l'importance. Cependant, une question se pose quant à la manière dont cela est quantifié par les fournisseurs de MaaS. Bien que je sois familier avec les remises sur les jetons de trésorerie, je n'avais pas approfondi l'économie de l'utilisation du cache pour des plateformes comme OpenAI, Anthropic, Gemini et DeepSeek. Après analyse, j'ai découvert une constatation frappante : deux demandes faites au même modèle avec des volumes de jetons identiques peuvent entraîner des différences de prix allant jusqu'à trois fois, uniquement en fonction de la mise en cache des jetons. Cet article se concentre sur les aspects financiers du cache et des jetons, expliquant comment évaluer avec précision les coûts réels.