Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリン...
Search
ShowNet
PRO
September 30, 2024
Technology
0
500
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
SPEAKER
ShowNet NOCチームメンバー
岩本 裕真(ブロードバンドタワー)
ShowNet
PRO
September 30, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
690
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
580
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
550
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
520
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
shownet
PRO
0
500
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
500
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
670
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
470
【shownet.conf_】持続可能な次世代Wi-Fi運用に向けて
shownet
PRO
0
490
Other Decks in Technology
See All in Technology
GitHub Universe: Evaluating RAG apps in GitHub Actions
pamelafox
0
180
Commitment vs Harrisonism - Keynote for Scrum Niseko 2024
miholovesq
6
1.1k
マネジメント視点でのre:Invent参加 ~もしCEOがre:Inventに行ったら~
kojiasai
0
470
最速最小からはじめるデータプロダクト / Data Product MVP
amaotone
5
740
顧客が本当に必要だったもの - パフォーマンス改善編 / Make what is needed
soudai
24
6.8k
一休.comレストランにおけるRustの活用
kymmt90
3
590
ABEMA のコンテンツ制作を最適化!生成 AI x クラウド映像編集システム / abema-ai-editor
cyberagentdevelopers
PRO
1
180
現地でMeet Upをやる場合の注意点〜反省点を添えて〜
shotashiratori
0
530
運用イベント対応への生成AIの活用 with Failure Analysis Assistant
suzukyz
0
110
Gradle: The Build System That Loves To Hate You
aurimas
2
150
独自ツール開発でスタジオ撮影をDX!「VLS(Virtual LED Studio)」 / dx-studio-vls
cyberagentdevelopers
PRO
1
180
フルカイテン株式会社 採用資料
fullkaiten
0
36k
Featured
See All Featured
Fireside Chat
paigeccino
32
3k
Faster Mobile Websites
deanohume
304
30k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
Docker and Python
trallard
40
3.1k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
[RailsConf 2023] Rails as a piece of cake
palkan
51
4.9k
The Cost Of JavaScript in 2023
addyosmani
45
6.6k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Producing Creativity
orderedlist
PRO
341
39k
Building Flexible Design Systems
yeseniaperezcruz
327
38k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Transcript
AI技術とUX監視の応用でShowNetの 基盤を支える モニタリングシステム ShowNet NOC Team Member モニタリング担当 岩本裕真
ShowNetにおける監視の必要性 ➢安定したインターネットサービスの提供 ✓出展者ブース・来場者・構築メンバーへのサービスの提供 ➢構築中の予期せぬ障害の検知 ✓設定ミス・配線ミスと言った人為的なトラブル ✓配線の整理作業で意図せず作業対象外ケーブルが抜線される ✓機器のバグが起因となる障害の発見 ➢ShowNet特有の環境 ✓データセンターとは違った厳しい環境での温湿度管理(外気からの影響を強 く受ける)
モニタリング 2
モニタリング 3
4 モニタリング基盤 ・ShowNetの安定稼働のため、 トポロジに乗る全ての機器を監視 ・ShowNet網内通信の可視化・分析
モニタリング のテーマ モニタリング 5 AI技術とUX監視の応用でShowNetの基盤を支える モニタリングシステム ➢ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢AI技術と監視システムの融合による運用効率化の実現 ➢衛星インターネットとメディア配信技術の詳細分析
各テーマの取組み内容 モニタリング • ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢ UX品質のアクティブ監視 ➢ ミラートラフィックによるユーザ通信品質可視化 • AI技術と監視システムの融合による運用効率化の実現
➢ 生成AIと連携した監視・運用の効率化 ➢ 測定データ学習によるインシデント予測 • 衛星インターネットとメディア配信技術の詳細分析 ➢ 圧縮・非圧縮のMoIP映像トラフィックのリアルタイム監視 ➢ KAITOトラフィックの2拠点間(沖縄ー幕張)の高精度遅延計測 ➢ MoIP・衛星回線におけるTWAMPを用いたアクティブ監視
過去から継続している監視項目の一覧 ➢統合監視(SNMPを用いた全体監視) ➢ログ監視・xFlow監視 ➢syslog/xFlow/snmpトラップ転送 ➢パケット解析・可視化 ➢仮想化基盤監視 ➢各種監視サービスの連携 モニタリング 7
モニタリングラック物理接続構成 モニタリング 8 SystemAnswer G3-1,2,3,XC ZS-7700 SA Log Option SA
Stats Option Flowmon Probe Flowmon Collector Profitap (mirror Packet) @FlowInspector100G 100G-LR4 10G-LR 100G-SR4 10G-SR 40G-SR4 40G-LR4 1G-T Zabbix 7.0 Flowmon CollectorVA .svc head AX-NV(AX-Sensor) Arbor SP7500 @FlowInspector100G @Flowコントローラー Netscout ISNG AX-NetworkManager BV-ntopng Hall間ファイバ Viavi fth-5000 光ファイバ 芯線 mgmt sw Vision400 (KAIT Traffic) CUBRO EX-5-3 1,2 PTP Packet Media Profile ※EX-5:Act/Sbyで2台 ZP-3700-N/P NetPredy BOX Allegro 7410 Arbor S8000 AX-NV(AX-collector) mgmt sw NOC#N-10/11 NOC#N-5 Netscout nG1 Netscout PFS nprobe Pod6S, Pod5S, Conf (BF-101)向け ファイバ遠隔監視
構築期間中のラック周りの変化 モニタリング 9 5/31日ごろのマウント終えた直後 6/6HotStage後半 6/11ShowNet本番直前
10 Flowmon Collector @FlowInspector 100G Zabbix7.0 SNMP trap Syslog sFlow/NetFlow/IPFIX
アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] Splunk AX-Network- Manager 監視トラフィック転送構成 System AnswerG3 [1-3] ZP-V700 SDPFクラウド ThousandEyesAgent ZS7700 Arbor insight S8000 Cubro PacketMaster EX5-[1-2] Arbor sightline SP7500 ZP-3700-N/P ZP-1700 Allegro 7410 BV-ntopng Netscout PFS Netscout ISNG Netscout NG1 AX-NV (AX-Sensor) AX-NV (AX-Collector) nprobe @FlowInspector controller NetPredy BOX CX監視Option Manager Apstra Flow Profitap X2-2000G ShowNet 機器群 ShowNet トラフィック モニタリング
モニタリングから見るShowNet モニタリング 11 最大Syslog数/秒 • 監視ホスト数:878 •Logソース: ➢Syslog:236 ➢SNMP Trap:206
• 最大Syslog数/days: 249,205,490 HotStage〜会期期間のSyslog受信量の推移
統合監視 モニタリング 12 Zabbix • コンソールサーバとの連携 • 温湿度監視/CO2監視 • LLDPトポロジマップ
• Proxyを用いた遠隔拠点監視 ➢ 各POD ➢ MOIP遠隔放送局 ➢ クラウド基盤 • PTP環境の時刻監視 SystemAnswerG3 • 情報収集と自動分析 • ベースライン監視/予兆検知 • クラウド・オンプレの ハイブリット監視 • FlowCollectorとの一元管理 • コンソールサーバとの連携 アラート 連携・通知 チャットツールへ通知 警告灯 光・音声通知による通知 NOC/MOC/STM Room 各ラック上部
クラウド連携 モニタリング 13 Zabbix7.0 System AnswerG3 [1-3] ManagementNetwork ThousandEyes- agent
監視 死活・監視 ThousandEyes エージェント 監視 経路監視 System AnswerG3 [1-3] ➢ShowNet監視基盤とクラウド監視基盤で冗長化・連携 SDPFクラウド 経路分析 Closswork Cloud ZP-V700 CX監視Option Manager Skylight Performance Analytics Paragon Active Assurance Control Center TWAMP測定 可視化 TWAMP測定 可視化 ZS7700 FortiMonitor 通信品質 可視化
ログ監視・テレメトリ監視 モニタリング 14 Splunk • ログ全文探索・可視化 • テレメトリ連携 • 機械学習によるアノマリ検知
VMware Aria Operations for Logs • ログ全文探索・可視化 • アラート通知
ネットワークフロー監視・経路監視 モニタリング 15 FlowmonCollector • NetFlow/sFlow/IPFIX可視化 FlowmonProbe • Flowmon Probeでトラヒックから
フローデータの生成 Arbor Sightline • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃検知によるミティゲーション デバイス連携 Apstra Flow • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃、脅威検出 Crosswork Cloud • BGP経路監視 • 経路ハイジャック等のイベント検知 • 経路伝搬状況の可視化
光ファイバー監視 モニタリング 16 FTH-5000 • 光ファイバー監視 • リモートOTDR測定 Hall4 他Hall
会議棟 FTH-5000 測定波長 でのHall間 光ファイバ監視 幕張メッセ
モニタリング 17
モニタリング 18 ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ICMP Ping Traceroute HTTP Request TWAMP ➢アクティブ監視エージェントを用いたサービス監視
➢出展者用ネットワークの正常性確認・運用への反映 ➢ユーザーエクスペリエンスを常時監視 ➢地理的に離れたホストの死活監視 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy
出展社ネットワークのアクティブ監視 モニタリング 19 PARAGON ACTIVE ASSURANCE • TWAMPによる双方向遅延測定 • L2〜L7アクティブ測定
NetPredy • TWAMPによる双方向遅延測定 • TCPパフォーマンス監視 • パケットキャプチャによるアプリケーション解析 CX監視オプション • ユーザ通信品質監視 • 通信経路可視化、遅延測定 • 無線通信状況モニタリング FortiMonitor • ユーザ通信品質監視 • アプリケーション通信のシミュレーション
ユーザ通信品質の分析基盤 モニタリング 20 •ミラートラフィックによるユーザ通信品質可視化 ➢複数製品でShowNet網を流れるミラートラフィックを解析 ➢アプリケーションレベルで通信品質の可視化・分析ができる環境を構築している 可視化 分析
通信品質監視・分析 モニタリング 21 ntopng • ネットワークパケット解析 • L2〜L7通信品質可視化 • ホストのジオマッピング
Allegro Netrowk Multimeter • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 NetScout nG1 • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 AX-Collector • ネットワークパケット解析 • L2〜L7通信品質可視化 • フローデータ連携によるNAT可視化
AI技術と監視システムの融合による運用効率化の実現 モニタリング 22 ➢ShowNet内の機器から送信された監視データをLLM解析基盤へ送信 ➢プロンプトから調査してほしいポイントを自然言語で問い合わせ ➢自然言語対応により、オペレータの学習コストを低減 ➢結果からトラブルポイントの推定や対応策を提案 ➢人間が見落としやすい情報まで結果を自然言語で結果を提供 @FlowInspector 100G
PacketMaster EX5-[1-2] ShowNet 機器群 Syslog,SNMP Trap,xFlow 監視トラフィックの転送 AIによる分析結果の送信 プロンプト・ 監視データ送信 Azureクラウド上 生成AI基盤 自然言語による 問い合わせ オペレータ 監視データを用いた出力生成 • 監視情報の分析、要約 • 要因の推測 • 解決アクションの提案 運用補助
Link Down箇所の調査の活用例 モニタリング 23 自然言語で分析したい内容を入力 SYSLOGデータを基に回答を生成
衛星インターネットとメディア配信技術の詳細分析 モニタリング 24 遠隔拠点にスマートSFPを設置し、TWAMPを用いた高精度測定を実施 ➢ ShowNetから衛星インターネットの折り返し接続の遅延測定 ➢ ShowNetとテレビ局拠点間のメディア用インフラの遅延測定 TWANP Reflector
TWANP Reflector TWANP Sender 地上局 静止衛星 Internet x Space Summit FX2 地上経由 衛星経由 SID A uSID 車載アンテナ TWANP 測定 TWANP Reflector TWANP 測定 Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP TWANP Reflector TWANP Sender
衛星インターネットとメディア配信技術の詳細分析 モニタリング 幕張〜各放送局間のTWAMP測定 圧縮・非圧縮映像トラフィック監視 通信品質が求められるMoIPトラフィックの監視 ➢ 各放送局(日本テレビ,NHK,テレビ北海道)と幕張間でTWAMPによるμsオーダーでの双方向遅延監視 ➢ 圧縮・非圧縮映像ストリーム(SMTPE-2110)をキャプチャしリアルタイム監視
おわりに モニタリング • 今年はアクティブ監視ツールを多数使用しネットワークの安定性を監視に重点 的に力をいれた構成で安定運用を実現 • AI関連の監視製品が、増えてきておりLLMで分析するというアプローチは、非 常に新鮮で使い方によって運用の最適化できる未来が見えた • ShowNetでは多くの可視化ツールを利用しています。(今年は20程度)
• 10分1ツールの監視画面を眺めるとすると 20(tools)*10(分)=200(分) 3時間20分(200分) LLMによるマルチモーダル分析で統合してくれる未来を期待 26
協力いただいたコントリビュータさま モニタリング 27 ※50音順