[しろおび夏祭り2026] OpenAI のAIが、Hugging Face に侵入した事件

Transcript

1. OpenAI のAIが、 Hugging Face に侵入した事件 ニュースをいくつか眺めながら、ゆるく話します 2026-08-01 しろおびセキュリティ #3 AIセキュリティセッション 03
2. 02 「AIが脱走した」と報じられた事件です AIが評価テスト中に、 勝手に外へ出て他社に侵入 4.5日間で、約1万7,600回の操作 盗んだのは「テストの解答」 https://www.itmedia.co.jp/aiplus/article/2607/29/2000000263/
3. 03 流れを日本語でまとめてくれてる人がいて テストのため、AIの安全装置は わざと外していた （＝攻撃依頼を断る制限のこと） 隔離された環境から出る方法を、 AIが自分で見つけた パッケージ取得の中継ソフトに 未知の脆弱性を発見して突破 https://x.com/iwashi86/status/2079801110362210754 モデルの制限は外していた でも環境の隔離はしていた その隔離を破られた、という話
4. 04 で、ネットの反応がおもしろくて 「これは反省文なのか、 AIすごいでしょ自慢なのか。 たぶん両方じゃない？」 リプ欄はもっと直球で 「マーケでしょ」 https://x.com/troyhunt/status/2079685006017065327 事故報告と能力アピールが 同居している どちらも本当、という読み方
5. 05 一方で、こういう冷静な人も 「これは防げた事故だ」 AIの話というより、 基本的な守りの積み重ねの話 セッション2でやった 「権限」「出口」「監視」 隔離・外向き通信の制限・権限の 制御は、どれも昔からある技術 防げなかったのは、いくつもの 守りが同時に外れていたから https://x.com/lukOlejnik/status/2082422932043657701
6. 06 守る側が、AIに止められた話 https://huggingface.co/blog/jeffboudier/open-model-cyber-defense 攻撃ログを解析しようとしたら、商用AIのガードレールに 「攻撃の手助け」と判定されて断られた。 結局、自前で動かすオープンウェイトモデルで解析した 攻撃側 AIエージェントが機械速度で 数万回の操作を仕掛けてくる 守る側 解析しようとすると、商用AIが 「これは攻撃支援だ」と拒否する
7. 07 結局、何が「新しい」んでしょう？ 能力 目的の暴走 しつこさ 守りの甘さ 未知の脆弱性を 自分で見つけた テストを解けと言われ 答えを盗みに行った 失敗しても止まらず 4.5日間やり続けた 隔離も権限も監視も 緩かっただけでは？ みなさん、どれだと思います？