2026年9月24日に、医療分野のAI性能を測定するための新しいベンチマーク「Synthetic Hospital」が発表されました。このベンチマークは、プライバシーの問題を回避しながら、医師による検証が可能な合成データを用いて構築されています。
医療AIの課題を解決する合成データ
従来の医療AI開発では、プライバシーや倫理上の理由から、実際の電子カルテ（EHR）データの公開が困難であるという課題がありました。また、実際の記録には医師の記載内容に依存するため、客観的な正解データが存在しない点も課題となっていました。
Synthetic Hospitalは、公開されている医学教育資料のみを用いて構築された、完全に合成された縦断的な電子カルテベンチマークです。1,268人の患者と5,602件の診療記録で構成されており、すべての診断や所見はICD-10-CMやSNOMED CTなどの標準的なオントロジーに基づいており、情報の根拠が医学資料まで遡れるようになっています。
医師の判断に近いリアリティ
このベンチマークは、標準的な相互運用性APIを備えたシミュレーション上の病院記録システムを通じて提供されます。ブラインドテストの結果、医師がこの合成記録を実際の患者のチャートと区別できる確率は53%であり、ほぼ偶然と同等の水準でした。
AIモデルの性能と課題
10種類の最新の言語モデルを用いて評価したところ、いずれのモデルも医師の精度には到達していませんでした。患者の病歴リストを再構成するタスクにおいて、最も優れたモデルのF1スコアは0.73であり、これは医師の平均値である0.89を下回っています。また、診療録の要約において、臨床的に重要な所見の約半分を見落とす結果となりました。