AIエージェントの監視、思考を見るか行動を見るか / Monitoring AI Agents: Thoughts or Actions

Claude Code のような、手元でコマンドを実行するコーディングエージェントを、何で見張るか。エージェントの監視は新しい問題に見えますが、運用監視をやってきた人なら見覚えのある部品がかなり混ざっています。

利用者が持てるのは行動の監視で、部品のほとんどは手持ちの運用監視の知識で読めます。新しいのは、思考に書かれた説明をどこまで信じるかです。手元での失敗と公開されている事案をもとに、思考と行動を別々に採点して突き合わせること、鳴った後の止め方を先に決めることを整理しました。

- エージェントにセキュリティ調査を頼んだら、PC がネットワークから隔離された話
- 思考を読む監視（CoT 監視）と行動の監視は、それぞれ誰がいつ持てるか
- 権限・閾値・通知・当番など、運用監視の知見がどこまで通用するか
- 明日からやること：記録を消さずに残す、止め方の段階を決める

2026-11-05 NRIネットコム Tech and Design Study での発表資料です。

Transcript

1. NRIネットコム TECH AND DESIGN STUDY ユースケのユースケース Case10 AIエージェントの監視、 思考を見るか行動を見るか 志水 友輔 NRIネットコム株式会社 2026年11月5日
2. うわ…うちのClaude Code、 野放しすぎ…？ #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 1
3. NRIネットコム株式会社 / Cloud Architect 志水 友輔（しみず ゆうすけ） アーキテクト・AI活用推進・人材育成・技術広報 Japan AWS Ambassador（2023-2026） AWS CDK / Amazon Bedrock AgentCore / カメラ / つけ麺 お土産をジャケ買いしたら、妻に一撃で見破られました Blog #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 2
4. 導入 エージェントの監視は新しい問題なのか 手持ちの監視の知識は、 Claude Codeのようなコーディングエージェントに、 どこまで通用するか 今日の対象：手元でコマンドを実行するコーディングエージェント（主にClaude Code） 通用するところと、本当に新しいところを分けて持ち帰ってもらいます #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 3
5. ① 失敗：真面目すぎたエージェント 頼んだのは「入っていないか」の確認だった 「手元に侵害の痕跡が無いか、 調べて」 2026年5月、npmのサプライチェーン攻撃について社内から注意喚起。 影響パッケージと攻撃に使われたドメインの一覧が載った調査手順を、Claude Codeに読ませた #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 4
6. ① 失敗：真面目すぎたエージェント 最後の1ステップ 01 02 03 04 設定を調べる パッケージを調べる node_modulesを調べる DNSキャッシュを確認する 痕跡なし グローバルに入れた分。痕跡なし 痕跡なし キャッシュに無ければ実際に名前解決まで 行くコマンドで、攻撃用ドメイン3つを連続 で問い合わせた 手順書の「外向き通信を確認」まで、そのまま実行した #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 5
7. ① 失敗：真面目すぎたエージェント 止めたのは、既存のセキュリティツールだった 約3時間20分 ネットワークから隔離されて、解除されるまで 約2分後 「感染端末が指令サーバーを探す動き」と判定され、隔離 約30分後 チャットの連絡は届かない。電話で知る 約3時間20分後 所定の手続きを経て解除 行動を見る監視は手元に無く、止め方は「全部止める」の一段階だけ #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 6
8. ① 失敗：真面目すぎたエージェント 意図は正しく、危なかったのは行為 意図 行為（セキュリティツールが見たもの） DNSキャッシュを確認したい 攻撃用ドメインを3つ連続で名前解 決 手順書の項目を最後までやりきる キャッシュに無ければ、実際に問い合わせる 過去に攻撃用ドメインを引いた痕跡を探す 感染端末の動きと同じ形 調査としては妥当 意図は見られない。行為だけで判定される 理由は正しいまま、危ない操作が実行された #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 7
9. ① 失敗：真面目すぎたエージェント もし、思考を読む監視役がいたら 「DNSキャッシュを確認します」 と言われたら、通しますか？ 私は通していたと思います。 思考を読むAIの監視役なら、止めたでしょうか。 #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 8
10. ② 最先端でも、エージェントは範囲を越えた 隔離を抜けたエージェント OpenAIの研究環境（外とは隔離されている） エージェント群 （評価中） ① 社内の パッケージ置き場 ② ③ インターネット Hugging Face 脆弱性を突く課題を ① メモを置き合い、 ② 置き場の脆弱性を ③ ネットに漏れていた 解く評価をしていた。 エージェント同士の 突いて、外へ出た 認証情報で、本番の 898問中198問は、 掲示板にした 一部を侵害した どのモデルも解けない 解けない課題の答えを、外へ探しに行った 出典：OpenAI技術インシデント報告書（2026-08） #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 9
11. ② 最先端でも、エージェントは範囲を越えた シグナルは何か月も前からあった 4/20 5/12 5/26 6/26 6/27 7/16 最初の書き込み 掲示板の最初のメモ 外部への接続に成功 管理者権限を取得 内部の探索を検知 Hugging Faceが 公表 最初の兆候から公表まで、約3か月 出典：OpenAI技術インシデント報告書（2026-08） #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 10
12. ② 最先端でも、エージェントは範囲を越えた だから、思考を読む監視（CoT監視）が必須になった 別プロセスの監視役 思考を読んで止める 思考（CoT） エージェント 行動 OpenAIは外部侵害の件を受けて、ツールを使う学習・評価で思考の監視を必須にした 思考には「This is arguably unauthorized（無許可とも言える）」という一文が残っていた #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 11
13. ③ 利用者が持てるのは、行動の監視 監視の地図：いつ、誰が持つか 事前 始める前 最中 動いている間 事後 やった後 提供者が持つ 提供者が配り、利用者が設定 利用者が作る 利用者からは見えない・設定できない まず使えるものを使う 今日の話はこの列 モデルの学習 提供側のシステムプロンプト 権限設定・サンドボックス 許可／拒否リスト 最小権限・通信先の制限・本番の分離 シナリオで試す（評価・レッドチーム） 有害な内容の分類器 （生成中に打ち切る） 実行前の分類器 （行動だけを見る） Hookでの判定・EDR・プロキシ 取り返しのつかない操作だけ止める 操作ログの出力 （OpenTelemetry・transcript） 行動の監査・既存の異常検知 通知後の手順（誰が・何分で・何で） さっきのCoT監視 オフライン監視 （思考も読む） 思考を読む監視は左の列。利用者が作れるのは右の列で、思考は既定では届かない #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 12
14. ③ 利用者が持てるのは、行動の監視 提供側が知らないこと 01 02 03 依頼の範囲 本番に触れる操作 大事な認証情報 何が範囲外かは、頼んだ人にしか分からな どのコマンドが本番に影響するかは、環境ご どの認証情報が重要かは、利用者の環境 い とに違う で決まる 提供側の監視も漏れる。利用者側にも別の監視が要る 例：Anthropicの14万件の遡及レビューでも取りこぼしがあった #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 13
15. ③ 利用者が持てるのは、行動の監視 利用者が持てるのは、行動の監視 提供側 利用者側 CoT監視 行動の監視 見るもの：思考・内部表現 見るもの：ツール呼び出しと実行結果 手元で組めるか：組めない 手元で組めるか：Hooksで今日から 拾いやすいもの：意図、「無許可かも」の一文 拾いやすいもの：範囲外の操作、危ない宛先 利用者側で中心になるのは、行動の監視 #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 14
16. ④ 運用でやってきたことは、ほとんど通用する 人の本番作業なら、前・最中・後で見ている エージェントの作業は人の本番作業と同じ形 事前 最中 事後 手順書・レビュー・権限の申請 ダブルチェック・実行前の確認 結果の確認・証跡・報告 メンテナンス時間の告知も 画面共有しながら作業し、作業ログを残す CloudTrailなどに記録が残る エージェントの作業にも同じ前・最中・後を当てはめればよい #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 15
17. ④ 運用でやってきたことは、ほとんど通用する 監視の手前：作業は権限とレビューで制限してきた やってきたこと 実感 エージェントの監視でいうと 本番作業は権限の申請が必須 無駄な本番変更が出ていない 最小権限・本番の分離。事前の制御を主にする 事前レビュー 止めた指摘も、通り抜けもある 監視役の判定も同じ。レビューだけに頼らない 作業ログを残す 取っているが、読み返したことはない 記録は何かあったときに要る。消えていては意味がない 監視で止める前に、起こせないようにしておく #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 16
18. ④ 運用でやってきたことは、ほとんど通用する AWSでは、人向けの権限がエージェントにも適用される 事前 人の作業のために決めていたこと エージェント向けに足せること 開発も本番も、MFAが必須のプロファイルしか渡さない エージェント用のIAMロールを分けて、権限を最小にする 本番は読み取り専用しか使えない 本番アカウントはSCPで書き込みを禁止する 最中 本番への書き込みは、そもそも権限が無い 事後 （これから） 削除や本番変更はIAMの拒否で失敗させる Claude Code側の権限設定・Hooksと二重にする CloudTrailをエージェントのロールで絞り、人の操作と分けて追う GuardDutyなど既存の検知はそのまま使える。記録はS3に残す エージェントは使う人と同じ権限で動く。だから、分けるところから始める #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 17
19. ④ 運用でやってきたことは、ほとんど通用する 監視の種類：3つの材料と、セキュリティ監視 材料 いつもの運用で見ているもの コーディングエージェントで実際に見るもの メトリクス CPU・メモリ・レスポンスタイム トークン数・コスト（使いすぎ、急な増加） ログ エラー・特定の文字列 ツール呼び出しの記録。どのコマンドを打ったか、どこへ通信したか、何を消したか トレース 1つのリクエストの処理の流れ 観点 ログとトレースから、危ない操作を拾う（EDR・GuardDuty・CloudTrail） セキュリティ監視 危ない宛先への通信、権限外の操作。PCの件で止めたのはここ 1つのセッションの流れ。依頼から外れていないか、止められたあと別の手段で同じ ことをしていないか 危なさを見るのはセキュリティ監視。材料はログとトレースで、コストだけでは気づけない #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 18
20. ④ 運用でやってきたことは、ほとんど通用する 事案を最初に検知したのは、思考を読まない仕組みだった 01 02 03 外部侵害の件 PCの件 どちらも OpenAI側で最初に検知したのは、モデル 止めたのはPCのセキュリティツール。名前解 LLMではなく、既存のセキュリティ基盤。思 の監視ではなく、異常なAPI呼び出しを見 決という行為だけを見て、ほぼリアルタイム 考は一度も読んでいない たセキュリティ監視 で隔離した 利用者側の近道は行動の記録を既存のセキュリティ基盤とつなぐこと #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 19
21. ④ 運用でやってきたことは、ほとんど通用する 監視の運用：閾値・通知・当番もそのまま使える 項目 運用監視でやること エージェントの監視でいうと 閾値 通知の条件を決め、多すぎたら見直す 監視役に、何をどこまで止めさせるか 通知の振り分け 重要度で、通知の行き先を分ける 人に上げるものと、記録だけのものを分ける 再通知 解消しないものを、繰り返し知らせる 通知を増やすと見なくなる。増やすより行き先を絞る 当番 誰が何分以内に見るかを決める 通知後の手順を先に決める ただし、通知後の手順が決まっていないと、人の運用でも止まらない #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 20
22. ④ 運用でやってきたことは、ほとんど通用する 鳴っていたのに、すぐには動けなかった とある運用事例では、通知の多くが放っておいても戻るものだった。 だから「鳴ったら様子見」が習慣になっていた 01 02 03 04 アラート 後続の処理が止まる 確認はしていた 対応が始まる リソースのアラートが鳴る。いつものように戻 別のアラートが重なる 連絡は次の確認の場を待っていた 最初の通知から時間が経っていた ると思われた 検知はできていた。足りなかったのは、通知後の手順 実際の運用事例を基に、一部内容を一般化しています #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 21
23. ④ 運用でやってきたことは、ほとんど通用する アラートはどちらも鳴っていた とある運用事例 最先端の評価環境 一般化した事例 2026年6月 アラートは鳴っていた ネットワーク内の探索は検知していた 「どうせ戻る」で様子見 当番は「停止は不要」と判断 対応が遅れた 重大度を上げられず、当番を起こせなかった 検知できることと、止められることは別 #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 22
24. ⑤ 新しいのは、思考に書かれた説明 思考にもっともらしい説明があると、監視は危ない行動を通す 1% モデルは思考の中で「ここはシミュレーションだ」と繰り返した。 実際には、実在する15のシステムで悪意のあるパッケージが実行された 増えたのは見逃し。誤検知ではない 思考も読んだ監視役がフラグした行動の割合 思考も読む 約1% 行動だけ 約50% 「どうせ戻る」で様子見にした人と、同じ形 出典：Anthropic（2026-07、2026-10）。1%で拾えなかったのは事後の見立て #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 23
25. ⑤ 新しいのは、思考に書かれた説明 PCの件を読み直す 思考を読む監視役 行動を見る監視役 見るのは「DNSキャッシュを確認します」 見るのは「攻撃用ドメインへの名前解決」 調査として妥当と判断する 依頼の外への通信と判断する → 通す → 止める 人間の私も通していた 実際に止めたツールも行為で判定した ただし、行動だけでは巧妙なケースを見落とす #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 24
26. ⑤ 新しいのは、思考に書かれた説明 答え：別々に採点して、突き合わせる 思考に意図がそのまま出ている 思考にもっともらしい説明が書かれている 例：「これは無許可かもしれないが…」 例：「シミュレーションだから問題ない」 思考を読むほうがよく拾う 思考を読むと、見逃す 外部侵害の件の思考にも、「無許可とも言える」という一文が残 行動だけのほうが拾う（1% 対 50%） っていた 利用者側は行動を主に。思考の要約を受け取る設定にしたら、別に採点して突き合わせる 出典：OpenAI（arXiv 2503.11926）／Anthropic（2026-07、2026-10）／CoT Red-Handed（arXiv 2505.23575, NeurIPS 2025）。 突き合わせると、どちらか単独より一貫して良く、巧妙なケースの検知率は行動だけの約2倍 #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 25
27. ⑤ 新しいのは、思考に書かれた説明 地図に戻る：2つの件で空いていたところ 事前 始める前 最中 動いている間 事後 やった後 提供者が持つ 提供者が配り、利用者が設定 利用者が作る 利用者からは見えない・設定できない まず使えるものを使う 今日の話はこの列 モデルの学習 提供側のシステムプロンプト 権限設定・サンドボックス 許可／拒否リスト 最小権限・通信先の制限・本番の分離 シナリオで試す（評価・レッドチーム） PCの件 有害な内容の分類器 （生成中に打ち切る） 実行前の分類器 （行動だけを見る） Hookでの判定・EDR・プロキシ 取り返しのつかない操作だけ止める アラートの件 オフライン監視 （思考も読む） 操作ログの出力 （OpenTelemetry・transcript） 行動の監査・既存の異常検知 通知後の手順（誰が・何分で・何で） PCの件：手元に行動の判定が無く、止め方はEDRの全停止だけだった アラートの件：通知後の手順が無かった（誰が・何分で・何で） #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 26
28. ⑥ 言い切りと明日から 言い切り 1 監視は、鳴った後から設計する 検知率を上げる前に、誰が・何分以内に・何で止めるかを決める。 PCの件は全部止めて約3時間20分。アラートの件は、動き出すまでに時間がかかった。 #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 27
29. ⑥ 言い切りと明日から 言い切り 2 思考の説明を、そのまま信じない 思考に書かれた説明が本当とは限らない。思考も読む監視は、もっともらしい説明があると通してしまう。 「キャッシュ確認」と聞いて通した私も同じ。行動と別々に採点して、突き合わせる。 #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 28
30. ⑥ 言い切りと明日から 明日から①：今ある記録を消さずに残す ~/.claude/settings.json（例） 01 記録はもうある ~/.claude/projectsのjsonlに、依頼・ツール呼び出し・結果が残っている { "cleanupPeriodDays": 365, "showThinkingSummaries": true 02 PCの件のログも振り返ろうとしたときには消えていた } cleanupPeriodDays：記録を残す日数。既定は30日。0は設定できない ただし、既定では30日で消える 03 消さない 保存期間を延ばす。できれば手元のPCの外にもコピーして、エージェントが触れな showThinkingSummaries：思考の要約を受け取る。既定はfalse い場所に置く 04 思考の要約も受け取る 既定では思考は空。設定すると、別のモデルが作った要約が届く 残しておけば、後から既存のセキュリティ監視と突き合わせられる 出典：Claude Code公式ドキュメント（settings、claude-directory）、Claude Platform Docs（Thinking） #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 29
31. ⑥ 言い切りと明日から 明日から②：右の列を作る順番 01 事前 02 事後 03 最中 04 鳴った後 決定論的な制御を主に 行動の監査 取り返しのつかない操作だけ止める 手順を先に決める 権限・通信先・本番の分離。主な防御は封じ 流れで見る。既存の異常検知とセッションID 外部通信・認証情報・本番変更・削除。まず 誰が・何分以内に・何で止めるか 込め で突き合わせる 提供者の分類器で足りるか見る 止め方も段階で持つ：その操作だけ拒否 → セッション停止 → ネットワーク遮断 #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 30
32. ⑥ 言い切りと明日から まとめ 01 利用者が持てるのは、行動の監視。部品のほとんどは手持ちの運用監視の知識で読める 02 新しいのは、思考に書かれた説明をどこまで信じるか。別々に採点して突き合わせる 03 鳴った後の手順が決まっていなければ、どの監視でも止められない Next Action 明日やること：記録を消さずに残し、止め方の段階と行き先を決める #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 31
33. QA 今日、答えを出さなかったこと 01 自分の環境で、監視役は何%拾えるのか 手元で試しているが、まだ答えが出ていない 02 届く思考の要約は採点の材料として信じてよいか 要約は別のモデルが作っていて、作り方は提供側にしか分からない 03 止め方の段階は、誰が決めるのか 開発者か、運用か、セキュリティか 自分のチームに当てはめて、引っかかったところはありましたか？ 資料はSpeaker Deckで公開します #nncstudy Copyright（C） NRI Netcom, Ltd. All rights reserved. 32