Google Researchは2022年1月21日、対話特化の大規模言語モデル「LaMDA」に関する最新成果を発表した。最大137BパラメータのTransformerベースモデルを用い、安全性と事実接地性（Groundedness）を高めるためのトレーニング手法と評価指標を示している。
発表内容
Google Researchは2022年1月21日、対話アプリケーション向けに設計された大規模言語モデル「LaMDA」の進展を発表した。最大137Bパラメータを持つTransformerベースのモデルファミリーで、公開対話データとウェブテキストからなる1.56T語の前訓練データを用いて学習されている。この発表では、高品質な対話を実現するための三つの主要目標である「Quality（品質）」「Safety（安全性）」「Groundedness（事実接地性）」へのアプローチが詳細に説明された。
これまでとの違い
LaMDAは単なるモデルのスケールアップではなく、外部知識源を活用する仕組みを統合している。従来の言語モデルは内部パラメータのみで応答を生成するため、不正確な情報を生み出すリスクがあった。LaMDAは対話中に外部の情報検索システムを呼び出すよう学習されており、これにより回答が既知のソースに基づいて検証可能になる。また、安全性と品質を評価するための分類器を別個にトレーニングし、生成された候補応答から不適切なものをフィルタリングする二段階のプロセスを採用している。
実務への影響
LaMDAは教育やコンテンツ推薦などのドメインでの活用が検討されており、人間の価値観に沿った安全な応答や、外部情報に基づいた正確な情報の提供が可能になる。評価指標によると、微調整と外部知識の利用により、安全性と事実接地性が大幅に向上することが示されている。これにより、ユーザーにとって信頼性の高い対話体験を提供する基盤技術として期待される。
残る論点
発表では、LaMDAがまだ初期段階の研究であることを明記しており、特に安全性の定量化についてはさらなる進展が必要だと指摘している。また、モデルのスケールアップだけでは安全性が向上しないことが示唆されており、どのように大規模化と安全対策を両立させるかは今後の課題として残っている。