Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIデータはどうためる、テープアーカイブの復権
Search
kkojima
November 12, 2020
0
160
AIデータはどうためる、テープアーカイブの復権
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」
2020.11.12
テープアーカイブについての俯瞰的なおはなし
kkojima
November 12, 2020
Tweet
Share
More Decks by kkojima
See All by kkojima
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 4」カスタムAIモデルの作成からモデルのデプロイまで
kkojima
0
230
最終回、オープンソースの話します
kkojima
1
220
AIに必要なデータをどう送るか、ネットワークを考える
kkojima
0
310
x86 CPUで動くAIアプリ作成で知っていると便利な基礎知識
kkojima
0
760
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」事前準備
kkojima
0
270
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」インテルがチューンしたPythonとTensorFlow
kkojima
0
1.4k
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」環境構築手順
kkojima
0
370
AVXって何だ?
kkojima
1
800
Featured
See All Featured
Become a Pro
speakerdeck
PRO
27
5.3k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
A Modern Web Designer's Workflow
chriscoyier
693
190k
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.6k
Writing Fast Ruby
sferik
628
61k
Automating Front-end Workflow
addyosmani
1369
200k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
13
1.4k
Product Roadmaps are Hard
iamctodd
PRO
52
11k
Designing Experiences People Love
moore
141
24k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.8k
Transcript
GPUなしでもここまでできるAI構築シリーズ 2020.11.12 「AIデータはどうためる、テープアーカイブの復権」
ネットワーク ゲートウェイ サーバ AI(学習) データ保存 データ 解析・保存 Camera など 5G,
LTE または 有線接続サービス 現地機器 AI(推論) データ保存 ハードウェアの配置 この辺にテープ アーカイブ
どれくらいのデータ転送が必要なのか スマホ⾼画質: 800万画素 30フレーム/秒 製造ラインでの要求: 500万画素 30フレーム/秒 24時間稼働だと⽉に 15-30 TB
程度か 5G通信の規格は 10 Gbps 以上
なんで5G通信が必要? TCP/IP の限界 平均: 9.9 G bit/秒 3.0 PB/⽉ 平均:
16 M bit/秒 0.0046 PB/⽉ 平均: 1.5 G bit/秒 0.5 PB/⽉ 10Gbps 0 2秒 レイテンシ 170ms レイテンシ170ms + パケットロス0.5% 10Gbps 2秒 10Gbps 2秒 0 0 構内接続に類似 遠距離接続に類似 インターネットに類似 レイテンシが⼤きい環境ではデータが思ったように送られない しかもパケットロスがあると壊滅的になる レイテンシ 1ms以下 10 Gbps で測ってみた!
かつてない⼤量データの保管 データ容量単価が1-2桁変わる IBM TS1160 ネイティブ・データ速度: 400 MB/s テープ1巻あたり最⼤20TB ハードウェア圧縮と LTFS
をつかうと もうなしでは仕事ができない LTFSとは: テープをUSBメモリのようにマウントできる ようにした標準規格
テープの中⾝
テープの磁性体 バリウムフェライト • 均質かつ密度の⾼いテープを作る材料 • LTO 6 以降で登場 バリウムフェライトの形状
AI 利⽤で増え続ける画像の保管にテープ https://home.jeita.or.jp/cgi-bin/about/detail.cgi?ca=1&ca2=292 JEITAテープストレージ専⾨委員会 「各種テープ規格のロードマップ -2019年版-」より抜粋
IBM TS3500 Shuttle Complex
None
100 PB / 40 Gbit x 6 80 TB /
100 Gbit バルク転送課題: AWSの解決策例
やっぱりネットワーク経由がいい IBM Cloud AS 36351 NTT Docomo NTT AS 9605
AS 9598 AS 3635 1 AS 3635 1 インターネットや閉域の経路はASというルータがつなぐ それぞれのAS保有者どおしが通⾏料⾦を決めている AS管理者の仲が良ければ通⾏料無料も でもご注意 ! 通⾏料⾦が意外と⾼いことは知られていない クラウドのテープアーカイブサービスの盲点
PeeringDBとIRRで リアルなASと経路情 報はわかる 経路には既得権益の せめぎ合いがある IRR: internet routing registry 経路って何?
参考動画 IBM TS3500 設置⾵景 https://youtu.be/1yUZ81dCqBg Oracle StorageTek SL8500 イメージビデオ https://www.youtube.com/watch?v=tZwl7zSfxCI
テープアーカイブ復権まとめ • クラウドでのデータの持ち出しはネットワーク費⽤に注意 • ⾼級ハードディスク屋にかっこ悪いと狙い撃ちされた (その会社はもうないけど) • クラウドプロバイダーは必ず利⽤している(ユーザにみえない) • AI、ディープラーニングにうまく応⽤したものが天下をとる
おしまい 次回は 12⽉10⽇ 14:00から