ニュースリリースを伝えるニュースサイト

Thinking Machinesが小型マルチモーダルモデルInkling-Smallを公開

Thinking Machinesが公開した、音声・画像・テキストを処理できる小型マルチモーダルモデルInkling-Smallの紹介画像。

https://thinkingmachines.ai/news/inkling-small/images/cover-social-inkling-small-post.png

Thinking Machinesは276Bパラメータのオープンウェightsモデル「Inkling-Small」を発表した。12Bアクティブパラメータで同社大規模モデルと同等性能を実現し、音声・画像のネイティブ推論や最大100万トークンのコンテキストウィンドウに対応する。

Thinking MachinesはEfficientなオープンウェightsモデル「Inkling-Small」を公開した。276Bパラメータのうちアクティブに使用されるのは12Bであり、同社大規模モデル「Inkling」と比較して四分のサイズのモデルである。NVIDIA GB300 NVL72システムで学習され、音声や画像に対するネイティブ推論、可変思考量(variable thinking effort)、最大100万トークンのコンテキストウィンドウを備える。

Inkling-Smallは、同社大規模モデルと同等以上の性能をより少ない計算量で達成する。Humanity’s Last Examでは31.6%のスコアを記録し、Inklingの29.7%を上回った。SWEBench-Verifiedでは80%を超え、エージェント型コーディングタスクでも競争力のあるパフォーマンスを示す。可変思考量により、ユーザーはコストと性能のバランスを用途に合わせて調整できる。

マルチモーダル対応もInklingと同様で、音声はdMelスペクトログラムとして、画像は40×40ピクセルのパッチに変換され、テキストトークンと同時に処理される。視覚推論やチャート理解、音声認識などの評価でInklingにほぼ匹敵する性能を維持しつつ、コストを抑えている。また、Pythonを用いたビジュアルタスクの能力も向上した。

安全性面では、Inklingと同じ安全後学習レシピを受け継ぎ、有害なリクエストに対する拒否率や安全なリクエストへの回答率において既存のオープンウェightsモデルと同等以上の性能を示している。StrongREJECTで98.4%、FORTRESSテストでも競争力のある結果を記録した。

Inkling-Smallのフルウェイトは公開され、Tinkerプラットフォーム上でファインチューニングやテキスト・画像・音声チャットの利用が可能になっている。

発表元: https://thinkingmachines.ai/news/inkling-small/