2026年7月29日、Moonshot AIはマルチモーダルエージェント型LLM「Kimi K3」の重みとアーキテクチャを公開した。総パラメータ数は2.8兆で、100万トークンのコンテキストウィンドウに対応する。
Moonshot AIは、オープンウェイトかつネイティブなマルチモーダル機能を持つエージェント型モデル「Kimi K3」を発表した。これは同社がこれまで開発してきた中で最も高性能なモデルであると位置づけられている。
このモデルの最大の特徴は、2.8兆という総パラメータ数と100万トークンという超長文コンテキストウィンドウの実現だ。アーキテクチャには新しいAttention機構であるKimi Delta Attention（KDA）とAttention Residuals（AttnRes）が採用されている。また、MoE（Mixture of Experts）構造において896ある専門家の中から16個だけを活性化させるStable LatentMoEフレームワークを採用することで、計算効率を大幅に向上させている。
機能面では、テキストだけでなく画像や動画もネイティブに扱えるマルチモーダル性が挙げられる。特にコーディング支援においては、人間の手入れを最小限に抑えながら大規模なリポジトリの操作やターミナルツールの連携を実現できる。これにより、GPUカーネルの最適化からコンパイラ開発、さらにはチップ設計に至るまでの長期的なエンジニアリングセッションをサポートする。
また、知識作業においても対話型のビジュアライゼーションやダッシュボードの生成など、エンドツーエンドでの作業を可能にする。モデルはテキスト、画像、動画のすべてを理解できる設計となっており、100万トークンという長い文脈を一貫して保持することが可能だ。
重みについては「Kimi K3 License」の下で公開されており、研究やデプロイメント、さらなる革新のために広くオープンになっている。技術的な詳細としては、Vision EncoderにMoonViT-V2を採用し、量子化にはMXFP4の重みとMXFP8の活性化が用いられている。
利用方法としては、TransformersライブラリやvLLM、SGLangなどの主要な推論フレームワークに対応しており、Dockerコンテナでの実行もサポートされている。これにより、開発者はローカル環境やクラウド上でのデプロイメントを柔軟に行えるようになっている。