【ShowNet Stage 2025】ShowNetに特化させた生成AI Chatbotはどれほど構築・運用の助けになったのか?

2025年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料

SS2-12 【ShowNetに特化させた生成AI Chatbotはどれほど構築・運用の助けになったのか?】

NOCチームメンバー
中村 遼

Transcript

1. ShowNetに特化させた生成AI Chatbotは どれほど構築・運用の助けになったのか？ Interop Tokyo 2025 ShowNet NOCチームメンバー 中村 遼 1
2. 広がる生成AIの活用領域 ネットワーク運用でも生成AIはどう活用できるのか？ みんなで手探るフェーズ どれほど「有効だ」と言えるかを評価すること自体難しい 検証環境や適用対象がまだまだ限定的 2 JANOG 55の 発表プログラムより https://www.janog.gr.jp/meeting/janog55/program-ja-timetable/
3. 3 2025年のShowNetをケーススタディに、 ネットワークの構築運用に 生成AIがどれほど役にたつのか 実際に試してみよう！ 対象: 多種多様な機器で構成されるリアルなネットワーク 実験参加者: 100名を超えるネットワークエンジニア
4. ShowNet 2025における生成AIの利用実験 ShowNetの構築支援に特化したChatbotを実装 ShowNetの設計資料や過去の機器設定を検索し参照できる チケットシステム(TTDB)にアクセスしチケットを参照できる ネットワーク機器に実際にアクセスし操作できる 4 LLM Model (GPT-4.1) Vector DB 質問 応答 netmiko MCP server 質問 (+機器の出力) 生成した応答 (+機器の操作) コマンド mgmt経由で SSH越しに CLI操作 REST Azure OpenAI Service 幕張メッセ ShowNet側装置 NOC/STM/ Contributor Ticket System 機器の 出力 MCP チケット 情報 MCP 検索 Chatbot Web Server
5. Retrieval Augmented Generation 生成AIが必要に応じてベクトル データベースを検索 取得したデータ(実際はファイル の内容)を応答の生成に利用 ベクトルストアに入れたファイル 昨年のShowNetの機器設定: 166台分 今年のShowNetの設計資料: 8個 今年のShowNetの運用ガイド: 17個 5
6. 生成AIによるネットワーク機器の操作 プロンプトに応じてAI がリアルタイムに機器 のCLIを操作 機器に対して発行でき るコマンドを事前に与 えているわけではない LLMの学習済みの知識か らデバイスに合わせて コマンドを発行してい る 6
7. チケットの参照 チケットの一覧と、特定のチケットの 内容を参照することができる 例えば... 「NOC L2/L3に割り当てられているチケット を一覧、優先度順にまとめて、次に手をつ けるべきチケットを提示」 「X番のチケットをクローズするために必 要なタスクを整理して表示」 全体の進捗状況をサマリーして報告させる 7
8. Model Context Protocol LLMが外部とインタラクションする手順を規定したプロトコル 2024年11月にAnthropic社が提唱、公開 LLMに対してtool (とresource)を提示: toolの名前、引数、概要 LLMはプロンプトに応じて必要と判断したtoolを呼び出す ShowNetでの実験のために2つのMCPサーバを実装 ネットワーク装置を操作するMCPサーバ: mcp-netmiko-server ShowNetのチケットを参照するMCPサーバ: mcp-ttdb-server 8 LLM MCP Server Tool: ttdb_list_ticekts Desc: チケットの一覧を返す Call ttdb_list_tickets
9. mcp-netmiko-server https://github.com/upa/mcp- netmiko-server Open Sourceで公開しています 9
10. 10 Chatbotの動作 動画では生成AIがリアルタイムに • ネットワーク機器のCLIを操作 • チケットを参照 しています
11. 生成AIの応答の評価 生成AIの応答に と (とその理由、任意)をつける 評価結果をもとに「どれほどAIが役に立ったのか」を分析 11 ココ
12. 12 生成AIの応答は どの程度有効だったのか？
13. 速報値 基盤モデルにネットワーク構築・運用向けツールを接続 した結果の、2025年におけるベースライン ここからさまざまなチューニングや性能向上が進むはず 13 約6割弱 AIの応答に対する評価 と のうち、Good ( )の割合 は: でした
14. 生成AIをネットワーク構築・運用に使ってみて プロンプト(生成AIに入力する文章)がとても大事 適当なことを聞いてもうまくいかない • NG「なんかいい感じによろしく」 • OK「コアルータのBGPの状態を確認、問題がある箇所を報告して」 人間に対する指示と同じ 人間が考えてコマンド打った方が早いのでは？ 複雑な問題に対しては熟練したエンジニアの方が早いのはその通り AIによって手数が多い作業を補完できるのは有用 • 一方現状ではときおりコマンドを間違えます ShowNet 2025におけるユースケースとして 特定のトラブルシュートをさせるというよりは、設計情報を持ち、 ネットワーク装置も触れるアシスタント的な使い方が便利でした 14
15. 生成AIをネットワーク構築・運用に使ってみて プロンプト(生成AIに入力する文章)がとても大事 適当なことを聞いてもうまくいかない • NG「ルーティングの状態は？」 • OK「コアルータのBGPの状態を確認、問題がある箇所を報告して」 人間に対する指示と同じ 人間が考えてコマンド打った方が早いのでは？ 複雑な問題に対しては熟練したエンジニアの方が早いのはその通り AIによって手数が多い作業を補完できるのは有用 • 一方現状ではときおりコマンドを間違えます ShowNet 2025におけるユースケースとして 特定のトラブルシュートをさせるというよりは、設計情報を持ち、 ネットワーク装置も触れるアシスタント的な使い方が便利でした 15 さらなる詳細な分析結果は7月末の Japan Network Operators’ Group Meeting 56, JANOG56@松江で発表予定です
16. ネットワークにおける生成AI利用の現在と未来 生成AIの利用は確実に広まる ネットワーク分野での活用も今まさ黎明期 使い方は多種多様 2025年の現在地 基盤モデルのままでもそれなり(6割弱)は役にたつ ここからの向上もおそらく凄まじい速度で進むはず 外部ツールの利用・開発も含めユースケースに応じた活用方法 大規模言語モデルの特徴を理解した活用の仕方 16