ALTKは、AIエージェントの過去の経験をガイドラインとして活用する手法「ALTK-Evolve」に関する研究結果を公開しました。モデルの性能に応じて、記憶をすべて与えるか、必要な分だけ抽出して与えるかといった「投与量」を調整することが、精度とコストの最適化に重要であると説明しています。
モデルの能力による最適な記憶量の違い
ALTK-Evolveは、エージェントが過去に行った作業の軌跡から、成功・失敗のパターンを「ガイドライン」として蒸留し、推論時に注入する手法です。8つのモデルを対象とした検証の結果、モデルの能力によって最適なガイドラインの与え方が異なることが判明しました。
能力に余裕のある強力なモデルは、すべてのガイドラインを注入する「full guideline set」で精度が向上します。例えばDeepSeek-V3.2（671B MoE）は、この手法によりタスク完了率が9.5ポイント上昇しました。
一方で、小規模なモデルや能力の低いモデルに大量のガイドラインを与えると、情報過多に陥る傾向があります。gpt-oss-120b（117B MoE）では、タスクに関連するガイドラインを抽出して与える「curated retrieval」を用いた場合に、タスク完了率が16.1ポイント向上し、最も高い成果を得られました。
精度とコストの両立について
ガイドラインの注入は、モデルの重みを更新せずに実行できるため、導入が容易であると説明しています。コスト面では、gpt-oss-120bにおいて「curated retrieval」を用いた場合、トークン数をベースラインから5%の増加に抑えつつ、タスク完了率を16.1ポイント向上させるという、精度とコスト抑制の両立が確認されました。一方で、同じモデルで「full guideline set」を適用した場合は、トークン数が51%増加しています。