Amazon Web Servicesは、2026年9月8日にPathway社が開発した新しいアーキテクチャ「BDH」について発表しました。このモデルは従来のTransformerとは異なる仕組みを持ち、Amazon SageMaker HyperPodを活用して大規模な訓練を行います。
潜在空間での推論による効率化
Pathwayが開発したBDH（Dragon Hatchling）は、従来のTransformerモデルが抱えていた課題を解決するために設計された、脳の仕組みに倣ったアーキテクチャです。従来のモデルは、推論の過程で「思考の連鎖（Chain-of-Thought）」として追加のテキストを生成する必要がありましたが、BDHは潜在空間内で推論を行います。これにより、中間的なテキストを出力することなく、例示から学習し、解を洗練させることが可能です。
疎な相互作用による計算コストの低減
BDHのアーキテクチャは、ニューロンのグラフとして定式化されており、ニューロン同士が疎で局所的な相互作用を通じて通信します。具体的には、通常時のニューロンの活性化率は5パーセントに抑えられており、効率的な計算を実現しています。また、アテンション機構には線形メカニズムを採用しており、固定された高次元の状態に対して動作するため、コンテキスト長に依存しない効率的なシーケンス処理が可能です。
SageMaker HyperPodによるスケーリング
Pathwayは、BDHの訓練にAmazon SageMaker HyperPodを採用しています。SageMaker HyperPodは、数百から数千のGPUにわたる分散訓練や推論が必要な大規模言語モデルの訓練に向けたインフラストラクチャです。これにより、Pathwayは計算リソースを、弾力性があり、拡張性に優れ、かつコスト効率の高い方法で共有し、モデルの開発を進めています。