Added
APIキーやBedrock、Vertex、Foundryにおいて、プロンプトキャッシュの保持期間（TTL）を1時間に延長できる環境変数を追加
英語原文を表示
Added
ENABLE_PROMPT_CACHING_1H env var to opt into 1-hour prompt cache TTL on API key, Bedrock, Vertex, and Foundry (ENABLE_PROMPT_CACHING_1H_BEDROCK is deprecated but still honored), and FORCE_PROMPT_CACHING_5M to force 5-minute TTL変更前
プロンプトキャッシュの有効期間が短く、頻繁なやり取りを行う長いセッションにおいて、キャッシュがすぐに無効化されて計算コストや遅延が増加していました。
変更後
ENABLE_PROMPT_CACHING_1H環境変数を使用してキャッシュTTLを1時間に設定できるほか、FORCE_PROMPT_CACHING_5Mで5分間に固定することも可能になりました。
ユーザーへの恩恵
キャッシュのヒット率が向上し、長時間の開発セッションにおけるAPIコストの削減とレスポンスの高速化が期待できます。