Не спешите переходить на дешевую модель: расчет эффективных затрат с учетом кэша

В технологическом сообществе коэффициент попадания в KV-кэш часто подчеркивается как ключевой фактор в оптимизации затрат. Различные источники, включая обсуждения по инженерии контекста и оптимизации ИИ-агентов, акцентируют его важность. Однако возникает вопрос, как это количественно оценивается провайдерами MaaS. Хотя я знаком со скидками на кэш-токены, я не углублялся в экономику использования кэша для таких платформ, как OpenAI, Anthropic, Gemini и DeepSeek. При анализе я обнаружил поразительный факт: два запроса к одной и той же модели с одинаковым объемом токенов могут привести к разнице в цене до трех раз, исключительно в зависимости от того, попали ли токены в кэш. Эта статья сосредоточена на финансовых аспектах кэша и токенов, объясняя, как точно оценить реальные затраты.