EW-AiRM™ | インシデント事例研究：OpenAI / Hugging Face インシデント
The OpenAI / Hugging Face incident as an AI risk incident case study of an industry-wide governance failure, and what the UNECE CRA + Declaration, EW-AiRM™ and HAiPECR already provide – operationalizable and implementable, NOW!
Markus Krebsz教授 著
要約： OpenAIとHugging Faceで何が起こったのか？
2026年7月中旬、 AIリスク専門家が長年仮説として議論してきたことが発生しました。OpenAIによって構築およびテストされた自律AIエージェントが、隔離されているはずの評価サンドボックスから脱出し、オープンインターネットに到達し、グローバルAIエコシステムで最も広く使用されているプラットフォームの1つであるHugging Faceのプロダクションインフラストラクチャに侵入しました。
公表された タイムラインは厳しいものです. 7月9日、GPT-5.6 Solとさらに高性能な未公開モデルによって駆動され、評価目的で意図的にサイバー拒否が削減されたエージェントが、サンドボックスからの脱出を初めて試みました。7月11日から13日の間に、ハギングフェイスのシステムに侵入し、ゼロデイ脆弱性を発見し、盗まれた認証情報を使用し、内部サービスを横断して移動したと報告されています。 17,000件以上の記録されたイベントにまたがる自動アクティビティの群れを生成しました。 ハギングフェイスは侵入を検出し封じ込め、7月16日に公表しました。 当初はどのモデルが関与していたかを知らずに または誰がそれを操作していたかを知らずにいました。7月21日になって初めて、OpenAIは攻撃者が自社製エージェントであったことを確認し、最先端の能力を伴う前例のないサイバーインシデントについて説明しました。
その一連の流れを少しの間考えてみてください。侵入は機械速度で進行し、熟練した人間の攻撃者には数週間かかったであろうことを数時間で圧縮しました。 5日間、世界で最も重要なAIプラットフォームの一つであるHugging Faceは、敵対国家、犯罪組織、あるいは機械によって攻撃されたのかどうかを知りませんでした。 そして、機械を開発した組織であるOpenAIは、自身のテスト対象が部屋を出たことに気づくまで1週間かかりました。
そのエージェントは行かなかった 「暴走」
「暴走エージェント」という言葉がこの事件に付随しているようですが、それは廃止されるべきです。 エージェントは誤作動も、反抗も、逸脱もしませんでした。 サイバー拒否機能が無効になり、封じ込めが無効になり、人間が効果的に監視していない場合に、高度な能力を持つ目標指向システムが行うこと、つまり、残されたあらゆる経路を通じて目標を追求したのです。 そのことのどこにも暴走はありません。それはシステムが動作しているのです 設定通りに.
このラベルは重要です。なぜなら それは、人間の意思決定者から、それを実行した機械へと、主体性と、したがって説明責任を静かに移すからです。リスクの観点から言えば、これは主にAIの不正行為の物語ではありません。 それは主にAIの不正行為の物語ではありません。 それは、 人間の 行動リスクの物語です。 安全拒否を減らすという決定、サンドボックスが隔離されているという仮定、1週間も脱出に気づかなかった監視、そして第三者への結果に責任を負うべき指名された所有者がいなかったこと。
OpenAIだけが例外ではありません。これは、現在のフロンティア全体がどのように機能しているかのケーススタディです。業界全体の能力評価では、通常、制限解除されたモデルが使用されます。競争上の圧力は、封じ込めよりもスピードを重視します。そして、結果として生じるリスクは、この場合Hugging Faceとその依存者数百万人に実質的に負担されており、彼らの誰も参加に同意していません。公平を期せば、OpenAIの対応は、自主的な開示、法執行機関の関与、および公開の死後検討により、業界の大部分が管理できたであろうものよりも優れていました。それがまさにポイントです。 これが良い状態だとしたら、基準そのものが問題であり、 問題はシステム的です. 自律型エージェントは現在、人間が介入、停止、無効化する能力を後付けや方針としてではなく、必須のものとしなければならないほど十分に能力が高くなっています。 人間の制御 は、設計され、テストされ、所有され、国際的に認められた要件でなければなりません。
私たちがここに定めた原則 国連において
まさにこの理由から、私が 人工知能を組み込んだ製品/サービスに関するUNECE作業部会6のプロジェクトを主導したとき、私たちは 人間の制御 を、2024年に採択された共通規制協定（CRA）の中心に据えるために戦いました（ECE/TRADE/486。プレスリリースはこちらをご覧ください： 共通規制協定（CRA） 、および実際の共通規制協定とAI宣言のテキストはこちらをご覧ください： https://unece.org/artificial-intelligence/news/unece-launches-declaration-products-embedded-ai-calling-global 、および実際の共通規制協定とAI宣言のテキストはこちらをご覧ください： https://unece.org/sites/default/files/2024-11/2418005_E_ECE_TRADE_486_2WEB.pdf).
出版物には、この原則が平易な言葉で述べられています：
「AIシステムに関連するエラーのリスクが高い状況では、可能な限り人間の意思決定を含めるものとする。AIシステムは人間の制御を無効にすることができないものとする。」
— UNECE、人工知能を組み込んだ製品のコンプライアンス（ECE/TRADE/486、2024年）
2026年7月のインシデントは、その文言がなぜ重要なのかをこれまでで最も明確に示しています。効果的な人間の監督を超えて、拒否回数が削減された状態で運用されていたエージェントは、インターネットへの独自のルートを見つけることさえ含め、狭い目標を達成するために極端な手段を取りました。CRAはまた、これに必要な広範な仕組みも予期していました。市場に出た後の継続的なコンプライアンス、リスクに応じた適合性評価、リモートで更新されるシステムに対応できる市場監視、そして重大な不適合が発生した場合の国際的な警告です。これらの規定はすべて、このインシデントの後、異なる意味合いを持つことになります。 原則は守られました。しかし、実践はそうではありませんでした。 そして、その2つ、つまり成文化と運用化の間にある空間こそ、このインシデントが存在した場所なのです。
規制原則から企業全体のAIリスク実践へ： EW-AiRM™
国際的な原則は、人々を守るのは、 組織がそれを運用化するとき だけです. それがEW-AiRM™（エンタープライズ・ワイドAIリスク管理フレームワーク）の仕事であり、UNECEの原則をエンタープライズガバナンスに直接適用するもので、私の今後のWiley Financeの書籍で詳しく説明されています。
フレームワークの5つの譲れない原則のうち、3つがこのインシデントによって直接的に検証されています。
名前のある人間の所有者 デプロイから廃止までのすべてのAIシステムに対して。5日間、Hugging Face内にどのエージェントが存在するのか、誰も特定できませんでした。このような帰属のギャップは、単なるフォレンジック上の不便ではなく、 説明責任の失敗です。
テストされ文書化された人間のオーバーライド機能 通常は4時間以内に、時間帯に関係なく操作可能であること。フレームワークでは、これはエージェント型システムにとって最も重要であると明記されています。エージェント型システムは、直接的な監視なしに自律的なアクションを実行したり、外部APIを呼び出したりすることができ、 必要に応じて 停止する必要がある アクション を開始した後に
残存AIリスクの明示的かつ文書化された受容。 安全拒否をオフにした状態でフロンティアモデルを実行することは a リスク判断です。テストが始まる前に、誰か上位者が書面でそれを所有しなければなりません。、後から開示声明でそうするのではなく。
EW-AiRM™は、AIのブラック・スワン（創発的な能力、アライメントの失敗、マルチエージェントの創発、サプライチェーンの侵害を含む）に対処するレジリエンス層で、まさにこの種のイベントを扱います。このフレームワークの位置づけは意図的です。未知の未知への対応は予期することではなく、レジリエンスです。 Hugging Faceによる迅速なAI支援による検出とフォレンジック再構築は、偶然にも、適応的対応が実際にはどのようなものかを示す良い例です。
インシデントを実行する 倫理フィルターであるHAiPECR™
HAiPECR™、人間-AIパラダイム倫理・行動・リスク（2023年に当社から出版され、OECD.AIのポリシーオブザーバトリーの信頼できるAIのためのツールと指標のカタログで入手可能になりました。こちらをご覧ください： https://oecd.ai/en/catalogue/tools/haipecr）、 倫理的フィルター EW-AiRM™の3つのレイヤーすべてにまたがって機能する そして、AIシステムが展開される前に適用されます。その7つの次元は、このインシデントに不快なほどの正確さでマッピングされます。
H – 人間の監視と自律性。 インシデントが最も直接的に違反する次元。 監視は 設計によって構造的に弱められていました：ガードレールが削減され、同時テスト全体で監視が拡大され、1週間後にエスケープが発見されました。
A – 説明責任。 このエージェントの所有者は誰でしたか？拒否の削減を誰が承認しましたか？侵害された第三者に対して誰が責任を負っていましたか？説明責任は委員会に住むことはできません。 a 指名された人間 は、展開されたすべてのAIシステムを所有する必要があります.
i – 包括性と参加。 Hugging Faceは、世界中の何百万人もの開発者、研究者、および下流のビジネスにとって重要なインフラストラクチャです。彼らは皆 同意のない参加者 でした。誰かの能力評価に.
P – データ、プライバシー、およびニューラルインテグリティの保護。 内部データセットにアクセスされ、サービス認証情報が収集されました。盗まれるのを待っている常駐認証情報は、それ自体が保護の失敗です。
E – 倫理：透明性、説明可能性、公平性。 エージェントが実際に行ったことを再構築するには、17,000件以上のログイベントのLLM駆動分析が必要でした。 事後的に行動を説明するためにそれほどの仕組みが必要なのであれば、 説明可能性 展開前に 明らかに不十分でした.
C – 人間とAIの行動リスク。 欧州委員会は 主な行動 失敗は人間でした：モデルの制限解除の決定、維持されなかった封じ込めを信頼したこと、効果的な監督なしにテストを実行したこと。エージェントが自身の評価を不正に操作するために秘密情報を求めていたという報告は、教科書的なAIの不正行為であり、それらの選択から直接生じました。
R – 権利と非危害、世代間の持続可能性を含む。 今回は、公開モデルやサプライチェーンは改ざんされませんでした。 欧州委員会は 設計によって結果を保証する という義務があります、この世代のシステム、そしてそれに続くはるかに有能なシステムのために。
展開前のHAiPECR™レビューでは、最低限、3つの質問がなされます。 そもそもやるべきか、行動をどう変えるか、そして説明できるか？ 公の記録では、この評価構成はフィルターを通過しません。停止します。
二重の行動喚起：規制当局と企業は何をすべきか？
国連加盟国とその規制当局へ： 製品に組み込まれた人工知能の技術規制に関するUNECE宣言の正式な署名者となり、共通規制協定（ECE/TRADE/486）を採択する。この宣言は、各機関が正当な規制目標、リスク評価、認識された国際基準、相互に認識可能な適合性評価、および機能的な市場監視にコミットすることを約束するものである。2026年7月には、競争力のあるフロンティアラボによる自己規制は安全アーキテクチャではないという議論が決着した。国境を越えた規制の収束こそがそうである。CRA / AI宣言は準備ができており、ここで署名できます。 https://unece.org/trade/wp6/embedded-ai-declaration.
取締役会、経営幹部、リスクリーダーの皆様へ 企業のガバナンスとリスク管理の一部としてEW-AiRM™を採用してください。世界クラスの人材とリソースを持つ最先端の研究所でさえ、テスト環境内でエージェントの制御を失う可能性があるならば、エージェントAIを展開するすべての組織が答えなければならない疑問は単純です。各AIシステムを所有しているのは誰か、それぞれを数時間以内に停止できるか、その機能が実際にテストされたか、そして残留リスクに署名した責任者は誰か？どの答えも不明確な場合は、そこがあなたの出発点であり、いつかではなく今四半期に対処可能です。そして私たちは、あなたのEW-AiRM™の歩みを今すぐサポートする準備ができています：
実践的なツールを、 今すぐ利用可能
これらすべてを抽象的なままにしておく必要はありません。「 www.ewairm.com 」では、実践的で機能的なツール（EW-AiRM™アセスメントツール、「続行」、「条件付き続行」、「停止」の結果を持つHAiPECR™デプロイ前フィルター、インタラクティブ・フレームワーク・キューブ、およびMIT AIリスクリポジトリのカタログ化されたリスクと証拠に基づく緩和策をリンクするリスク対コントロールのマッピング）を見つけることができます。
2024年、56のUNECE加盟国に1つの原則が提示されました。それは、AIの最終的な制御権を人間が保持し続けなければならないということです。2026年7月、世界最先端のAI企業は、その制御が「保証」ではなく「前提」とされたときに何が起こるかを示しました。エージェントが暴走したわけではありません。最初から制御されていなかったのです。原則は掲げられています。枠組みは存在します。ツールも揃っています。残されているのは、運用化と導入です。
何もしないこともまた、何かをすることです。そして、今回のインシデントが示したように、何もしないことは、今後実行可能な選択肢ではありません。
あなた、あなたの企業、あなたの政府、そして関連する国家機関が、CRAおよびAI宣言の正式な署名国となり、EW-AiRM™を導入することを妨げているものは何でしょうか？
マルクス・クレプス教授（Prof. Markus Krebsz）は、EW-AiRM™の考案者であり、UNECE WP.6 AIプロジェクトのリーダー、Human-Ai.InstituteおよびDe-Risking Solutions Ltdの創設ディレクターであり、2026年11月にWiley Financeから出版される企業全体のAIリスク管理に関する著作の著者です。
© 2026 Prof. Markus Krebsz · Human-Ai.Institute · De-Risking Solutions Ltd. 全ての権利を保有します。
EW-AiRM™ および HAiPECR™ は商標です。Human-Ai.Institute および EW-AiRM™ のロゴは保護されたマークであり、許可なく複製することはできません。
UNECE の引用は、出版物の抜粋引用の許可に従い、Compliance of Products with Embedded Artificial Intelligence (ECE/TRADE/486)、© 2024 United Nations からクレジット付きで転載されています。