バイトが到着しない場合にストリーミングのモデル応答を中断する 5 分間のボディアイドルタイムアウトを上書きする。遅いゲートウェイやローカルモデルがチャンク間で 5 分より長く停止する場合など、タイムアウトを無効にするには 0 を設定し、すべてのプロバイダーで有効に保つには 1 を設定する。未設定の場合、このタイムアウトは直接の Anthropic API、Claude Platform on AWS、および CLAUDE_ENABLE_BYTE_WATCHDOG_BEDROCK=1 が設定された Amazon Bedrock 以外のプロバイダーで有効である。ストリームウォッチドッグはこれとは独立して動作し、ここで 0 を設定しても長い無音の停止を中断する。
API_FORCE_IDLE_TIMEOUT=0 を設定してタイムアウトを無効化する。API_FORCE_IDLE_TIMEOUT=1 を設定して全プロバイダーでボディアイドルタイムアウトを有効化する。Override the 5-minute body idle timeout that aborts a streaming model response when no bytes arrive. Set to 0 to turn the timeout off, for example when a slow gateway or local model pauses longer than 5 minutes between chunks, or 1 to keep it on for every provider. When unset, the timeout is active on providers other than the direct Anthropic API, Claude Platform on AWS, and Amazon Bedrock with CLAUDE_ENABLE_BYTE_WATCHDOG_BEDROCK=1 set. The stream watchdogs run independently of it and abort a long silent pause even when you set 0 here
API_FORCE_IDLE_TIMEOUT=0 to opt out変更後
クラウドプロバイダー経由での利用時に、接続の不安定さによる作業の中断時間を最小限に抑えられます。