ニュースリリースを伝えるニュースサイト

NVIDIAが自律走行向け340億パラメータVLAモデルAlpamayo 2 Superを公開

,
Architecture diagram showing ego-motion history, multi-camera video, and optional prompts entering motion, video, and la

https://developer.nvidia.com/blog/generate-trajectories-reasoning-traces-and-auto-labels-with-nvidia-alpamayo-2-super/

NVIDIAは自律走行開発用のオープンソース推論ビジョン言語行動(VLA)モデル「Alpamayo 2 Super」を公開した。340億パラメータの同モデルは、軌道生成や因果連鎖(CoC)推論トレースなどを単一モデルで出力可能とし、自律走行開発のワークフロー統合を目指す。

NVIDIAは自律走行(AV)開発向けのオープンソース340億パラメータ推論ビジョン言語行動(VLA)モデル「Alpamayo 2 Super」を公開した。

同モデルは320億パラメータの推論エンジンと20億パラメータの拡散型アクション専門モジュールを組み合わせた構造を採用する。7台までのカメラからの映像入力に対応し、360度の視野で複数の出力を返す設計だ。未来の軌道、因果連鎖(CoC)推論トレース、高レベルのメタアクション、シーンに関する質問への回答、および自動ラベル生成を単一モデルから得られる。

自律走行開発では従来、軌道生成や意図予測、データラベリングなどに別々のモデルを用いるケースが多かった。複数のモデルを維持する代わりに、Alpamayo 2 Superはオフラインのポリシー教師や評価用の批判者、さらには新しいタスクのカスタマイズの起点などとして利用可能とする。

CoC推論トレースは、なぜその運転判断がなされたのかをシーンコンテキストから紐解く出力だ。軌道(何ができるか)と推論理由の両方を得ることで、モデルの意思決定プロセスの可視化や失敗原因の診断、他のポリシーとの比較などが容易になる。

ベンチマーク結果として、LingoQAで79.2点を記録し37モデル中1位となった。物理AI AVデータセットを用いた軌道予測では6.4秒のminADE_6が0.911m、AV推論ベンチマークでは0.433を達成した。

モデルウェイトはHugging Faceで公開され、GitHubには推論用ノートブックが用意されている。ライセンスはLinux FoundationのOpenMDW-1.1を採用しており、微調整や派生モデルの作成、商用再配布が許容される。

発表元: https://developer.nvidia.com/blog/generate-trajectories-reasoning-traces-and-auto-labels-with-nvidia-alpamayo-2-super/