Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIデータはどうためる、テープアーカイブの復権
Search
kkojima
November 12, 2020
0
170
AIデータはどうためる、テープアーカイブの復権
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」
2020.11.12
テープアーカイブについての俯瞰的なおはなし
kkojima
November 12, 2020
Tweet
Share
More Decks by kkojima
See All by kkojima
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 4」カスタムAIモデルの作成からモデルのデプロイまで
kkojima
0
250
最終回、オープンソースの話します
kkojima
1
230
AIに必要なデータをどう送るか、ネットワークを考える
kkojima
0
330
x86 CPUで動くAIアプリ作成で知っていると便利な基礎知識
kkojima
0
800
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」事前準備
kkojima
0
280
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」インテルがチューンしたPythonとTensorFlow
kkojima
0
1.5k
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」環境構築手順
kkojima
0
390
AVXって何だ?
kkojima
1
850
Featured
See All Featured
How GitHub (no longer) Works
holman
314
140k
We Have a Design System, Now What?
morganepeng
53
7.7k
Into the Great Unknown - MozCon
thekraken
40
1.9k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
The Pragmatic Product Professional
lauravandoore
36
6.8k
GitHub's CSS Performance
jonrohan
1031
460k
Building Adaptive Systems
keathley
43
2.7k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Gamification - CAS2011
davidbonilla
81
5.4k
[RailsConf 2023] Rails as a piece of cake
palkan
56
5.7k
A better future with KSS
kneath
238
17k
Transcript
GPUなしでもここまでできるAI構築シリーズ 2020.11.12 「AIデータはどうためる、テープアーカイブの復権」
ネットワーク ゲートウェイ サーバ AI(学習) データ保存 データ 解析・保存 Camera など 5G,
LTE または 有線接続サービス 現地機器 AI(推論) データ保存 ハードウェアの配置 この辺にテープ アーカイブ
どれくらいのデータ転送が必要なのか スマホ⾼画質: 800万画素 30フレーム/秒 製造ラインでの要求: 500万画素 30フレーム/秒 24時間稼働だと⽉に 15-30 TB
程度か 5G通信の規格は 10 Gbps 以上
なんで5G通信が必要? TCP/IP の限界 平均: 9.9 G bit/秒 3.0 PB/⽉ 平均:
16 M bit/秒 0.0046 PB/⽉ 平均: 1.5 G bit/秒 0.5 PB/⽉ 10Gbps 0 2秒 レイテンシ 170ms レイテンシ170ms + パケットロス0.5% 10Gbps 2秒 10Gbps 2秒 0 0 構内接続に類似 遠距離接続に類似 インターネットに類似 レイテンシが⼤きい環境ではデータが思ったように送られない しかもパケットロスがあると壊滅的になる レイテンシ 1ms以下 10 Gbps で測ってみた!
かつてない⼤量データの保管 データ容量単価が1-2桁変わる IBM TS1160 ネイティブ・データ速度: 400 MB/s テープ1巻あたり最⼤20TB ハードウェア圧縮と LTFS
をつかうと もうなしでは仕事ができない LTFSとは: テープをUSBメモリのようにマウントできる ようにした標準規格
テープの中⾝
テープの磁性体 バリウムフェライト • 均質かつ密度の⾼いテープを作る材料 • LTO 6 以降で登場 バリウムフェライトの形状
AI 利⽤で増え続ける画像の保管にテープ https://home.jeita.or.jp/cgi-bin/about/detail.cgi?ca=1&ca2=292 JEITAテープストレージ専⾨委員会 「各種テープ規格のロードマップ -2019年版-」より抜粋
IBM TS3500 Shuttle Complex
None
100 PB / 40 Gbit x 6 80 TB /
100 Gbit バルク転送課題: AWSの解決策例
やっぱりネットワーク経由がいい IBM Cloud AS 36351 NTT Docomo NTT AS 9605
AS 9598 AS 3635 1 AS 3635 1 インターネットや閉域の経路はASというルータがつなぐ それぞれのAS保有者どおしが通⾏料⾦を決めている AS管理者の仲が良ければ通⾏料無料も でもご注意 ! 通⾏料⾦が意外と⾼いことは知られていない クラウドのテープアーカイブサービスの盲点
PeeringDBとIRRで リアルなASと経路情 報はわかる 経路には既得権益の せめぎ合いがある IRR: internet routing registry 経路って何?
参考動画 IBM TS3500 設置⾵景 https://youtu.be/1yUZ81dCqBg Oracle StorageTek SL8500 イメージビデオ https://www.youtube.com/watch?v=tZwl7zSfxCI
テープアーカイブ復権まとめ • クラウドでのデータの持ち出しはネットワーク費⽤に注意 • ⾼級ハードディスク屋にかっこ悪いと狙い撃ちされた (その会社はもうないけど) • クラウドプロバイダーは必ず利⽤している(ユーザにみえない) • AI、ディープラーニングにうまく応⽤したものが天下をとる
おしまい 次回は 12⽉10⽇ 14:00から