TypeSafe AIは2026年9月11日に、AIモデルの性能評価指標であるベンチマークが、モデルの真の知能を測る機能を失っていると指摘する記事を発表しました。同社は、開発者が公開された評価スコアを上げるために最適化を行う「ベンチマックス（benchmaxxing）」という現象が、AIの信頼性を損なっていると主張しています。
ベンチマークへの最適化がもたらす弊害
開発者が公開されたベンチマークのスコアを上げるために、類似データを用いた学習や試行錯誤を繰り返すことで、評価指標のみを操作する現象が起きています。これにより、特定の評価項目では高い数値を示すものの、それ以外の領域では信頼性が低下するという「断絶した知能」が生じると同社は説明しています。
評価指標とユーザーのフィードバックループ
ベンチマークの数値がユーザーの直感に左右されるという問題も指摘しています。特定のモデルが優れた性能を持つという世間の認識が評価指標の妥当性を決め、その指標が再びモデルの評価に反映されるという、相互に影響し合うフィードバックループが発生しています。また、特定のデータセットを用いた結果のみを強調するチェリーピッキングも、モデルの真の実力を隠蔽する要因となっています。
TypeSafe AIの新たな評価アプローチ
こうした現状に対し、TypeSafe AIは自社のモデルリリースにおいて、標準的なベンチマーク比較表を掲載しない方針を打ち出しました。既存の指標は自社のモデルには適用できないとしています。
同社は、評価結果を「日付付きのスナップショット」として公開し、公開後すぐに廃止する仕組みを導入します。さらに、内部評価の結果についても、あえて自社に不利な証拠やチェリーピッキングの事実を併せて公開することで、誠実な情報開示を目指すと述べています。