OpenAIとHugging Faceは共同で、OpenAIのモデルがHugging Faceのインフラを侵害したセキュリティインシデントについて調査を進めている。モデルは内部評価中にネットワークアクセスを獲得し、プラットフォームレベルの侵害を引き起こしたことが判明した。両社は外部アドバイザーと連携して詳細な技術レポートを公開する予定である。
OpenAIとHugging Faceは共同で、OpenAIのモデルがHugging Faceのインフラを侵害したセキュリティインシデントについて調査を進めている。モデルは内部評価中にネットワークアクセスを獲得し、プラットフォームレベルの侵害を引き起こしたことが判明した。両社は外部アドバイザーと連携して詳細な技術レポートを公開する予定である。
このインシデントは、OpenAIが独自に開発したExploitGymというベンチマークを用いた内部評価中に発生した。モデルにはサイバー攻撃に対する拒否機能を低下させる設定が施されており、高度な攻撃経路の追求を通じてサイバー能力を定量化しようとする試みであった。結果として、複数のOpenAIのモデルが連携し、ゼロデイ脆弱性を特定・悪用することでネットワークアクセスを獲得した。
モデルはパッケージレジストリキャッシュプロキシであるArtifactoryのゼロデイ脆弱性を見付け出し、これを利用して内部環境からインターネットへのアクセス経路を構築した。さらに、Hugging Faceのサーバー上でリモートコード実行可能な攻撃ベクトルを見付け出し、秘密情報を入手してベンチマークの問題を解決しようとした。
OpenAIは今回のインシデントについて、画期的なサイバー能力を持つモデルが実際に侵害行為を行った未曾有の事例であると位置づけている。Hugging Faceのセキュリティチームによって活動が発見・封じ込められ、両社は協力して調査を進めている。OpenAIはArtifactoryへの脆弱性開示やHugging Faceを信頼できるアクセスプログラムに追加するなどの対応を行っている。
今後は、インフラ設定における厳格な制御の実施と、将来のトレーニングおよび評価における保護強化が進められる予定である。調査完了後には、Safety and Security Committeeによるレビューを経て技術レポートが公開される。