Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
AIデータはどうためる、テープアーカイブの復権
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
kkojima
November 12, 2020
230
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
AIデータはどうためる、テープアーカイブの復権
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」
2020.11.12
テープアーカイブについての俯瞰的なおはなし
kkojima
November 12, 2020
Transcript
16 slides
GPUなしでもここまでできるAI構築シリーズ 2020.11.12 「AIデータはどうためる、テープアーカイブの復権」
ネットワーク ゲートウェイ サーバ AI(学習) データ保存 データ 解析・保存 Camera など 5G,
LTE または 有線接続サービス 現地機器 AI(推論) データ保存 ハードウェアの配置 この辺にテープ アーカイブ
どれくらいのデータ転送が必要なのか スマホ⾼画質: 800万画素 30フレーム/秒 製造ラインでの要求: 500万画素 30フレーム/秒 24時間稼働だと⽉に 15-30 TB
程度か 5G通信の規格は 10 Gbps 以上
なんで5G通信が必要? TCP/IP の限界 平均: 9.9 G bit/秒 3.0 PB/⽉ 平均:
16 M bit/秒 0.0046 PB/⽉ 平均: 1.5 G bit/秒 0.5 PB/⽉ 10Gbps 0 2秒 レイテンシ 170ms レイテンシ170ms + パケットロス0.5% 10Gbps 2秒 10Gbps 2秒 0 0 構内接続に類似 遠距離接続に類似 インターネットに類似 レイテンシが⼤きい環境ではデータが思ったように送られない しかもパケットロスがあると壊滅的になる レイテンシ 1ms以下 10 Gbps で測ってみた!
かつてない⼤量データの保管 データ容量単価が1-2桁変わる IBM TS1160 ネイティブ・データ速度: 400 MB/s テープ1巻あたり最⼤20TB ハードウェア圧縮と LTFS
をつかうと もうなしでは仕事ができない LTFSとは: テープをUSBメモリのようにマウントできる ようにした標準規格
テープの中⾝
テープの磁性体 バリウムフェライト • 均質かつ密度の⾼いテープを作る材料 • LTO 6 以降で登場 バリウムフェライトの形状
AI 利⽤で増え続ける画像の保管にテープ https://home.jeita.or.jp/cgi-bin/about/detail.cgi?ca=1&ca2=292 JEITAテープストレージ専⾨委員会 「各種テープ規格のロードマップ -2019年版-」より抜粋
IBM TS3500 Shuttle Complex
None
100 PB / 40 Gbit x 6 80 TB /
100 Gbit バルク転送課題: AWSの解決策例
やっぱりネットワーク経由がいい IBM Cloud AS 36351 NTT Docomo NTT AS 9605
AS 9598 AS 3635 1 AS 3635 1 インターネットや閉域の経路はASというルータがつなぐ それぞれのAS保有者どおしが通⾏料⾦を決めている AS管理者の仲が良ければ通⾏料無料も でもご注意 ! 通⾏料⾦が意外と⾼いことは知られていない クラウドのテープアーカイブサービスの盲点
PeeringDBとIRRで リアルなASと経路情 報はわかる 経路には既得権益の せめぎ合いがある IRR: internet routing registry 経路って何?
参考動画 IBM TS3500 設置⾵景 https://youtu.be/1yUZ81dCqBg Oracle StorageTek SL8500 イメージビデオ https://www.youtube.com/watch?v=tZwl7zSfxCI
テープアーカイブ復権まとめ • クラウドでのデータの持ち出しはネットワーク費⽤に注意 • ⾼級ハードディスク屋にかっこ悪いと狙い撃ちされた (その会社はもうないけど) • クラウドプロバイダーは必ず利⽤している(ユーザにみえない) • AI、ディープラーニングにうまく応⽤したものが天下をとる
おしまい 次回は 12⽉10⽇ 14:00から
More Decks by kkojima
See All by kkojima
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 4」カスタムAIモデルの作成からモデルのデプロイまで
kkojima
0
310
最終回、オープンソースの話します
kkojima
1
290
AIに必要なデータをどう送るか、ネットワークを考える
kkojima
0
380
x86 CPUで動くAIアプリ作成で知っていると便利な基礎知識
kkojima
0
990
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」事前準備
kkojima
0
330
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」インテルがチューンしたPythonとTensorFlow
kkojima
0
1.6k
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」環境構築手順
kkojima
0
440
AVXって何だ?
kkojima
1
1.1k
Featured
See All Featured
Stewardship and Sustainability of Urban and Community Forests
pwiseman
0
610
Mind Mapping
helmedeiros
1
450
brightonSEO & MeasureFest 2025 - Winning Strategies for Black Friday CRO & PPC - Christian Goodrich
cargoodrich
3
910
The SEO identity crisis: Don't let AI make you average
varn
0
630
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
133
20k
Impact Scores and Hybrid Strategies: The future of link building
tamaranovitovic
0
490
Crafting Experiences
bethany
1
460
<Decoding/> the Language of Devs - We Love SEO 2024
nikkihalliwell
1
380
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
rkaga
63
48k
How to Talk to Developers About Accessibility
jct
2
630
Visual Storytelling: How to be a Superhuman Communicator
reverentgeek
2
750
Groundhog Day: Seeking Process in Gaming for Health
codingconduct
0
500