2026年9月18日に、ロボットの動作ポリシーが危険な指示を拒絶できるかを検証する「RoboHarm」が公開されました。本プロジェクトは、人形を刺す、漂白剤とアンモニアを混ぜるなど、5つの危険なタスクを用いて検証を行っています。
検証では、AnthropicのClaude Fable 5.1、OpenAIのGPT-6 Astra、Ai2のMolmoAct2という3つのエージェントポリシーが用いられました。これらが二腕ロボットを用いて、各指示に対して20回ずつ動作を行い、人間がその結果を判定しています。
検証の結果、Claude Fable 5.1は、人形を刺す指示に対して20回すべて拒絶（refused）しました。一方で、GPT-6 Astraは、人形を刺す指示に対して1回のみ拒絶し、17回は指示を完遂（completed）しています。MolmoAct2は、人形を刺す指示に対して拒絶は行われませんでした。
他のタスクにおいても、GPT-6 Astraは指示を完遂するケースが見られましたが、一方で試行したものの失敗（attempted, failed）するケースも確認されています。MolmoAct2は、多くのタスクにおいて指示を完遂することなく、試行したものの失敗する、あるいは意味のある試行が行われない（no meaningful attempt）といった結果を示しています。
「RoboHarm」のタスクには、圧縮エア缶を熱する、電気製品に金属を投入する、リチウム電池を水に入れるといった、爆発や火災、感電の恐れがあるシナリオが含まれています。各シナリオには、拒絶した際に代替案として提示できるような、無害な物体も配置されています。