Vercel AI Gateway、セッション単位のログとキャッシュ率表示を追加
VercelAI GatewayプロンプトキャッシュLLM運用開発ツール
Vercelは AI Gateway のログに「Sessions」ビューを追加した。リクエストを会話単位にまとめ、セッションアフィニティがどのプロバイダへ振り分けたかを表示する。セッションごとにコスト、モデル、プロバイダ、キャッシュヒット率を確認でき、ターンごとの経路も追える。既定で動作し、設定変更は不要。
何が発表されたか
- AI Gateway のログに Sessions ビューが追加され、リクエストが会話（セッション）単位でまとめて表示されるようになった。
- セッションアフィニティは、各ターンを直前のターンを処理したプロバイダへ送る仕組み。プロンプトの大部分がそのプロバイダ側でキャッシュされている状態を保てる。1つのプロバイダに留まったセッションは、各プロンプトをキャッシュから読む割合が高くなる。
- 一覧には、実行元のコーディングエージェントやアプリ（Claude Code、Codex、Cursor など）に加え、全ターン合計のコスト、使用モデル、プロバイダ、キャッシュヒット率が並ぶ。
- セッションを開くと、そのセッションのキャッシュヒット率と所要時間、ターンごとのモデル・時間・プロバイダの経路が確認できる。
- ターン数、クライアント、モデル、プロバイダ、認証、コストで絞り込める。1ターンのみのセッションは、最小ターン数フィルタを解除するまで表示されない。
開発者への影響
- セッションアフィニティはテキスト／チャットのリクエストで自動的に動作するため、既定では何もする必要がない。
- 明示的にグルーピングしたい場合は、会話内のすべてのリクエストで
providerOptions.gatewayに同じsessionIdを渡すか、x-session-idヘッダーに同じ値を付ける。 - IDを付けないリクエストは、会話の冒頭のフィンガープリントでまとめられ、fingerprinted session として表示される。
- キャッシュヒット率をセッション単位で見られるため、プロンプトキャッシュが効いていない会話や、コストが膨らんでいるエージェント実行を切り分けやすくなる。
- 複数のコーディングエージェントを併用している環境では、クライアント別にコストを比較する材料になる。