Amazon Web Servicesは、Amazon SageMaker HyperPod上で大規模言語モデルの推論におけるKVキャッシュの共有と再利用を可能にする技術的仕組みを紹介した。GPUメモリ、CPUメモリに続き、共有NVMeプールをL2キャッシュとして活用する構成となっている。
AWSはSageMaker HyperPodにおいて、階層型KVキャッシュアーキテクチャを実装している。これは単一ポッドのGPUメモリを超えるキャッシュ領域を構築し、vLLMレプリカ間でのキャッシュ共有を実現する。
この仕組みではL0にGPU HBM、L1にローカルCPUメモリを活用する。さらにL2としてCurvineという分散キャッシュファイルシステムを採用している。これによりノードローカルのNVMeドライブが単一のネームスペースに統合され、すべての推論ポッドから共有される。
HyperPodのインテリジェントルーティング機能も活用される。これはリクエストをキャッシュヒット率の高いレプリカへと振り分ける仕組みで、接頭辞認識やKV状態に基づく選択が可能だ。これにより共通プロンプトを含むワークロードでのTTFT改善が期待できる。
テスト環境ではPod間キャッシュヒット率が最大100%達成された。またTTFTは最大2.7倍改善し、約1900トークンのプロンプトに対するノード間L2読み取りレイテンシは56ms程度となった。これにより従来P5インスタンスが必要だったワークロードを低コストのG6eインスタンスで実行できる可能性がある。
実装にはInference Operatorの構成変更が含まれる。L1キャッシュやL2バックエンドの設定、ルーティング戦略の指定を宣言的に定義する必要がある。CurvineのFUSEマウントを利用するには環境変数のパッチ作業も必要だ。