環境変数

FORCE_PROMPT_CACHING_5M

1時間を超えるプロンプトキャッシュの保持期間（TTL）が適用される場合でも、強制的に5分に設定します。

使い方・用途

  • プロンプトキャッシュのTTLを5分に固定し、ENABLE_PROMPT_CACHING_1Hの設定を上書きします。
  • 長時間のセッションにおいてキャッシュヒット率を調整し、コストやパフォーマンスを制御したい場合に使用します。
英語原文(公式ドキュメントより)

Set to 1 to force the 5-minute prompt cache TTL even when 1-hour TTL would otherwise apply. Overrides ENABLE_PROMPT_CACHING_1H

関連する変更履歴

v2.1.108 (1件)

Added
Settings
APIキーやBedrock、Vertex、Foundryにおいて、プロンプトキャッシュの保持期間（TTL）を1時間に延長できる環境変数を追加
英語原文を表示
Added ENABLE_PROMPT_CACHING_1H env var to opt into 1-hour prompt cache TTL on API key, Bedrock, Vertex, and Foundry (ENABLE_PROMPT_CACHING_1H_BEDROCK is deprecated but still honored), and FORCE_PROMPT_CACHING_5M to force 5-minute TTL

変更前

プロンプトキャッシュの有効期間が短く、頻繁なやり取りを行う長いセッションにおいて、キャッシュがすぐに無効化されて計算コストや遅延が増加していました。

変更後

ENABLE_PROMPT_CACHING_1H環境変数を使用してキャッシュTTLを1時間に設定できるほか、FORCE_PROMPT_CACHING_5Mで5分間に固定することも可能になりました。

ユーザーへの恩恵

キャッシュのヒット率が向上し、長時間の開発セッションにおけるAPIコストの削減とレスポンスの高速化が期待できます。

関連ドキュメント