プロンプトキャッシュの保持期間（TTL）をデフォルトの5分から1時間に延長するよう要求します。
Set to 1 to request a 1-hour prompt cache TTL instead of the default 5 minutes. Intended for API key, Bedrock, Vertex, and Foundry users. Subscription users receive 1-hour TTL automatically. 1-hour cache writes are billed at a higher rate
ENABLE_PROMPT_CACHING_1H が設定されている場合に Amazon Bedrock と Google Vertex AI で発生していた 400 エラーを修正しましたENABLE_PROMPT_CACHING_1H is set変更前
キャッシュ有効期間を1時間に設定する機能を、Bedrock や Vertex AI 経由のモデルで使用しようとするとリクエストが拒否されることがありました。
変更後
クラウドプロバイダー固有の制約に合わせてリクエストが適切に処理されるようになり、エラーなしでキャッシュ機能を活用できます。
ユーザーへの恩恵
サードパーティプロバイダーを通じた利用でも、プロンプトキャッシュによるコスト削減と高速化の恩恵を安定して受けられるようになります。
ENABLE_PROMPT_CACHING_1H env var to opt into 1-hour prompt cache TTL on API key, Bedrock, Vertex, and Foundry (ENABLE_PROMPT_CACHING_1H_BEDROCK is deprecated but still honored), and FORCE_PROMPT_CACHING_5M to force 5-minute TTL変更前
プロンプトキャッシュの有効期間が短く、頻繁なやり取りを行う長いセッションにおいて、キャッシュがすぐに無効化されて計算コストや遅延が増加していました。
変更後
ENABLE_PROMPT_CACHING_1H環境変数を使用してキャッシュTTLを1時間に設定できるほか、FORCE_PROMPT_CACHING_5Mで5分間に固定することも可能になりました。
ユーザーへの恩恵
キャッシュのヒット率が向上し、長時間の開発セッションにおけるAPIコストの削減とレスポンスの高速化が期待できます。