Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリン...
Search
ShowNet
PRO
September 30, 2024
Technology
0
570
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
SPEAKER
ShowNet NOCチームメンバー
岩本 裕真(ブロードバンドタワー)
ShowNet
PRO
September 30, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
770
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
650
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
610
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
580
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
shownet
PRO
0
560
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
560
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
750
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
520
【shownet.conf_】持続可能な次世代Wi-Fi運用に向けて
shownet
PRO
0
550
Other Decks in Technology
See All in Technology
Application Development WG Intro at AppDeveloperCon
salaboy
0
190
[CV勉強会@関東 ECCV2024 読み会] オンラインマッピング x トラッキング MapTracker: Tracking with Strided Memory Fusion for Consistent Vector HD Mapping (Chen+, ECCV24)
abemii
0
230
Terraform Stacks入門 #HashiTalks
msato
0
360
【Startup CTO of the Year 2024 / Audience Award】アセンド取締役CTO 丹羽健
niwatakeru
0
1.3k
Engineer Career Talk
lycorp_recruit_jp
0
190
AIチャットボット開発への生成AI活用
ryomrt
0
170
初心者向けAWS Securityの勉強会mini Security-JAWSを9ヶ月ぐらい実施してきての近況
cmusudakeisuke
0
130
Incident Response Practices: Waroom's Features and Future Challenges
rrreeeyyy
0
160
iOSチームとAndroidチームでブランチ運用が違ったので整理してます
sansantech
PRO
0
150
Why App Signing Matters for Your Android Apps - Android Bangkok Conference 2024
akexorcist
0
130
強いチームと開発生産性
onk
PRO
35
11k
Python(PYNQ)がテーマのAMD主催のFPGAコンテストに参加してきた
iotengineer22
0
500
Featured
See All Featured
The Invisible Side of Design
smashingmag
298
50k
Docker and Python
trallard
40
3.1k
Testing 201, or: Great Expectations
jmmastey
38
7.1k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
47
2.1k
Facilitating Awesome Meetings
lara
50
6.1k
[RailsConf 2023] Rails as a piece of cake
palkan
52
4.9k
10 Git Anti Patterns You Should be Aware of
lemiorhan
655
59k
Music & Morning Musume
bryan
46
6.2k
Happy Clients
brianwarren
98
6.7k
Into the Great Unknown - MozCon
thekraken
32
1.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
GraphQLの誤解/rethinking-graphql
sonatard
67
10k
Transcript
AI技術とUX監視の応用でShowNetの 基盤を支える モニタリングシステム ShowNet NOC Team Member モニタリング担当 岩本裕真
ShowNetにおける監視の必要性 ➢安定したインターネットサービスの提供 ✓出展者ブース・来場者・構築メンバーへのサービスの提供 ➢構築中の予期せぬ障害の検知 ✓設定ミス・配線ミスと言った人為的なトラブル ✓配線の整理作業で意図せず作業対象外ケーブルが抜線される ✓機器のバグが起因となる障害の発見 ➢ShowNet特有の環境 ✓データセンターとは違った厳しい環境での温湿度管理(外気からの影響を強 く受ける)
モニタリング 2
モニタリング 3
4 モニタリング基盤 ・ShowNetの安定稼働のため、 トポロジに乗る全ての機器を監視 ・ShowNet網内通信の可視化・分析
モニタリング のテーマ モニタリング 5 AI技術とUX監視の応用でShowNetの基盤を支える モニタリングシステム ➢ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢AI技術と監視システムの融合による運用効率化の実現 ➢衛星インターネットとメディア配信技術の詳細分析
各テーマの取組み内容 モニタリング • ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢ UX品質のアクティブ監視 ➢ ミラートラフィックによるユーザ通信品質可視化 • AI技術と監視システムの融合による運用効率化の実現
➢ 生成AIと連携した監視・運用の効率化 ➢ 測定データ学習によるインシデント予測 • 衛星インターネットとメディア配信技術の詳細分析 ➢ 圧縮・非圧縮のMoIP映像トラフィックのリアルタイム監視 ➢ KAITOトラフィックの2拠点間(沖縄ー幕張)の高精度遅延計測 ➢ MoIP・衛星回線におけるTWAMPを用いたアクティブ監視
過去から継続している監視項目の一覧 ➢統合監視(SNMPを用いた全体監視) ➢ログ監視・xFlow監視 ➢syslog/xFlow/snmpトラップ転送 ➢パケット解析・可視化 ➢仮想化基盤監視 ➢各種監視サービスの連携 モニタリング 7
モニタリングラック物理接続構成 モニタリング 8 SystemAnswer G3-1,2,3,XC ZS-7700 SA Log Option SA
Stats Option Flowmon Probe Flowmon Collector Profitap (mirror Packet) @FlowInspector100G 100G-LR4 10G-LR 100G-SR4 10G-SR 40G-SR4 40G-LR4 1G-T Zabbix 7.0 Flowmon CollectorVA .svc head AX-NV(AX-Sensor) Arbor SP7500 @FlowInspector100G @Flowコントローラー Netscout ISNG AX-NetworkManager BV-ntopng Hall間ファイバ Viavi fth-5000 光ファイバ 芯線 mgmt sw Vision400 (KAIT Traffic) CUBRO EX-5-3 1,2 PTP Packet Media Profile ※EX-5:Act/Sbyで2台 ZP-3700-N/P NetPredy BOX Allegro 7410 Arbor S8000 AX-NV(AX-collector) mgmt sw NOC#N-10/11 NOC#N-5 Netscout nG1 Netscout PFS nprobe Pod6S, Pod5S, Conf (BF-101)向け ファイバ遠隔監視
構築期間中のラック周りの変化 モニタリング 9 5/31日ごろのマウント終えた直後 6/6HotStage後半 6/11ShowNet本番直前
10 Flowmon Collector @FlowInspector 100G Zabbix7.0 SNMP trap Syslog sFlow/NetFlow/IPFIX
アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] Splunk AX-Network- Manager 監視トラフィック転送構成 System AnswerG3 [1-3] ZP-V700 SDPFクラウド ThousandEyesAgent ZS7700 Arbor insight S8000 Cubro PacketMaster EX5-[1-2] Arbor sightline SP7500 ZP-3700-N/P ZP-1700 Allegro 7410 BV-ntopng Netscout PFS Netscout ISNG Netscout NG1 AX-NV (AX-Sensor) AX-NV (AX-Collector) nprobe @FlowInspector controller NetPredy BOX CX監視Option Manager Apstra Flow Profitap X2-2000G ShowNet 機器群 ShowNet トラフィック モニタリング
モニタリングから見るShowNet モニタリング 11 最大Syslog数/秒 • 監視ホスト数:878 •Logソース: ➢Syslog:236 ➢SNMP Trap:206
• 最大Syslog数/days: 249,205,490 HotStage〜会期期間のSyslog受信量の推移
統合監視 モニタリング 12 Zabbix • コンソールサーバとの連携 • 温湿度監視/CO2監視 • LLDPトポロジマップ
• Proxyを用いた遠隔拠点監視 ➢ 各POD ➢ MOIP遠隔放送局 ➢ クラウド基盤 • PTP環境の時刻監視 SystemAnswerG3 • 情報収集と自動分析 • ベースライン監視/予兆検知 • クラウド・オンプレの ハイブリット監視 • FlowCollectorとの一元管理 • コンソールサーバとの連携 アラート 連携・通知 チャットツールへ通知 警告灯 光・音声通知による通知 NOC/MOC/STM Room 各ラック上部
クラウド連携 モニタリング 13 Zabbix7.0 System AnswerG3 [1-3] ManagementNetwork ThousandEyes- agent
監視 死活・監視 ThousandEyes エージェント 監視 経路監視 System AnswerG3 [1-3] ➢ShowNet監視基盤とクラウド監視基盤で冗長化・連携 SDPFクラウド 経路分析 Closswork Cloud ZP-V700 CX監視Option Manager Skylight Performance Analytics Paragon Active Assurance Control Center TWAMP測定 可視化 TWAMP測定 可視化 ZS7700 FortiMonitor 通信品質 可視化
ログ監視・テレメトリ監視 モニタリング 14 Splunk • ログ全文探索・可視化 • テレメトリ連携 • 機械学習によるアノマリ検知
VMware Aria Operations for Logs • ログ全文探索・可視化 • アラート通知
ネットワークフロー監視・経路監視 モニタリング 15 FlowmonCollector • NetFlow/sFlow/IPFIX可視化 FlowmonProbe • Flowmon Probeでトラヒックから
フローデータの生成 Arbor Sightline • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃検知によるミティゲーション デバイス連携 Apstra Flow • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃、脅威検出 Crosswork Cloud • BGP経路監視 • 経路ハイジャック等のイベント検知 • 経路伝搬状況の可視化
光ファイバー監視 モニタリング 16 FTH-5000 • 光ファイバー監視 • リモートOTDR測定 Hall4 他Hall
会議棟 FTH-5000 測定波長 でのHall間 光ファイバ監視 幕張メッセ
モニタリング 17
モニタリング 18 ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ICMP Ping Traceroute HTTP Request TWAMP ➢アクティブ監視エージェントを用いたサービス監視
➢出展者用ネットワークの正常性確認・運用への反映 ➢ユーザーエクスペリエンスを常時監視 ➢地理的に離れたホストの死活監視 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy
出展社ネットワークのアクティブ監視 モニタリング 19 PARAGON ACTIVE ASSURANCE • TWAMPによる双方向遅延測定 • L2〜L7アクティブ測定
NetPredy • TWAMPによる双方向遅延測定 • TCPパフォーマンス監視 • パケットキャプチャによるアプリケーション解析 CX監視オプション • ユーザ通信品質監視 • 通信経路可視化、遅延測定 • 無線通信状況モニタリング FortiMonitor • ユーザ通信品質監視 • アプリケーション通信のシミュレーション
ユーザ通信品質の分析基盤 モニタリング 20 •ミラートラフィックによるユーザ通信品質可視化 ➢複数製品でShowNet網を流れるミラートラフィックを解析 ➢アプリケーションレベルで通信品質の可視化・分析ができる環境を構築している 可視化 分析
通信品質監視・分析 モニタリング 21 ntopng • ネットワークパケット解析 • L2〜L7通信品質可視化 • ホストのジオマッピング
Allegro Netrowk Multimeter • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 NetScout nG1 • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 AX-Collector • ネットワークパケット解析 • L2〜L7通信品質可視化 • フローデータ連携によるNAT可視化
AI技術と監視システムの融合による運用効率化の実現 モニタリング 22 ➢ShowNet内の機器から送信された監視データをLLM解析基盤へ送信 ➢プロンプトから調査してほしいポイントを自然言語で問い合わせ ➢自然言語対応により、オペレータの学習コストを低減 ➢結果からトラブルポイントの推定や対応策を提案 ➢人間が見落としやすい情報まで結果を自然言語で結果を提供 @FlowInspector 100G
PacketMaster EX5-[1-2] ShowNet 機器群 Syslog,SNMP Trap,xFlow 監視トラフィックの転送 AIによる分析結果の送信 プロンプト・ 監視データ送信 Azureクラウド上 生成AI基盤 自然言語による 問い合わせ オペレータ 監視データを用いた出力生成 • 監視情報の分析、要約 • 要因の推測 • 解決アクションの提案 運用補助
Link Down箇所の調査の活用例 モニタリング 23 自然言語で分析したい内容を入力 SYSLOGデータを基に回答を生成
衛星インターネットとメディア配信技術の詳細分析 モニタリング 24 遠隔拠点にスマートSFPを設置し、TWAMPを用いた高精度測定を実施 ➢ ShowNetから衛星インターネットの折り返し接続の遅延測定 ➢ ShowNetとテレビ局拠点間のメディア用インフラの遅延測定 TWANP Reflector
TWANP Reflector TWANP Sender 地上局 静止衛星 Internet x Space Summit FX2 地上経由 衛星経由 SID A uSID 車載アンテナ TWANP 測定 TWANP Reflector TWANP 測定 Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP TWANP Reflector TWANP Sender
衛星インターネットとメディア配信技術の詳細分析 モニタリング 幕張〜各放送局間のTWAMP測定 圧縮・非圧縮映像トラフィック監視 通信品質が求められるMoIPトラフィックの監視 ➢ 各放送局(日本テレビ,NHK,テレビ北海道)と幕張間でTWAMPによるμsオーダーでの双方向遅延監視 ➢ 圧縮・非圧縮映像ストリーム(SMTPE-2110)をキャプチャしリアルタイム監視
おわりに モニタリング • 今年はアクティブ監視ツールを多数使用しネットワークの安定性を監視に重点 的に力をいれた構成で安定運用を実現 • AI関連の監視製品が、増えてきておりLLMで分析するというアプローチは、非 常に新鮮で使い方によって運用の最適化できる未来が見えた • ShowNetでは多くの可視化ツールを利用しています。(今年は20程度)
• 10分1ツールの監視画面を眺めるとすると 20(tools)*10(分)=200(分) 3時間20分(200分) LLMによるマルチモーダル分析で統合してくれる未来を期待 26
協力いただいたコントリビュータさま モニタリング 27 ※50音順