Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
クラウドデータセンターネットワークの “いま”と “これから”
Search
Masayuki Kobayashi
June 12, 2023
Technology
5
2.2k
クラウドデータセンターネットワークの “いま”と “これから”
Masayuki Kobayashi
June 12, 2023
Tweet
Share
More Decks by Masayuki Kobayashi
See All by Masayuki Kobayashi
GPUネットワーク設計・運用 基礎勉強会 Lossless Ethernet – PFC/ECN編
markunet
3
190
HPCネットワーク基礎(RDMA/Infiniband/RoCE編)
markunet
18
3.8k
Clos Network Topology 再入門
markunet
18
6.6k
RIFT A new routing protocol for IP fabrics
markunet
0
460
大規模DCのネットワークデザイン
markunet
2
1.1k
閉域網接続の技術入門
markunet
1
260
Other Decks in Technology
See All in Technology
AIエージェントキャッチアップと論文リサーチ
os1ma
6
1.2k
Security response for open source ecosystems
frasertweedale
0
100
モンテカルロ木探索のパフォーマンスを予測する Kaggleコンペ解説 〜生成AIによる未知のゲーム生成〜
rist
4
1.1k
Go製のマイグレーションツールの git-schemalex の紹介と運用方法
shinnosuke_kishida
1
410
コード品質向上で得られる効果と実践的取り組み
ham0215
2
200
モジュラーモノリスでスケーラブルなシステムを作る - BASE のリアーキテクチャのいま
panda_program
7
2k
LINEギフトのLINEミニアプリアクセシビリティ改善事例
lycorptech_jp
PRO
0
240
LINE Notify互換のボットを作った話
kenichirokimura
0
180
AIエージェント完全に理解した
segavvy
4
260
React Server Componentは 何を解決し何を解決しないのか / What do React Server Components solve, and what do they not solve?
kaminashi
6
1.2k
一人QA時代が終わり、 QAチームが立ち上がった話
ma_cho29
0
290
SSH公開鍵認証による接続 / Connecting with SSH Public Key Authentication
kaityo256
PRO
2
220
Featured
See All Featured
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
102
18k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
31
4.7k
How to train your dragon (web standard)
notwaldorf
91
5.9k
Optimising Largest Contentful Paint
csswizardry
35
3.2k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
Fireside Chat
paigeccino
37
3.3k
A better future with KSS
kneath
238
17k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
The Invisible Side of Design
smashingmag
299
50k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
21k
Agile that works and the tools we love
rasmusluckow
328
21k
Transcript
ΫϥυσʔληϯλʔωοτϫʔΫͷ l͍·zͱ l͜Ε͔Βz "*.-)1$ωοτϫʔΫՊձ .BTBZVLJ,PCBZBTIJ
ωοτϫʔΫΛਐԽͤ͞ΔΩʔϑΝΫλʔԿ͔ $PNQVUJOH*OOPWBUJPO 4UPSBHF*OOPWBUJPO /FUXPSLJOH*OOPWBUJPO • ࢄػցֶश • "*$IJQͷߴԽ ίϯϐϡʔςΟϯάͱετϨʔδͷٕज़ֵ৽͕ωοτϫʔΫʹਐԽѹΛ͔͚Δ •
ࢄετϨʔδ • /7.F 4$. 1.&. • +PC$PNQMFUJPO5JNFݮ • Ϟσϧ։ൃͰͷϨΠςϯγݮ
͜Ε·ͰͷίϯϐϡʔςΟϯάͱσʔληϯλʔωοτϫʔΫ ϞϊϦε͔ΒϚΠΫϩαʔϏε ϕΞϝλϧ͔Β7.ɺͦͯ͠ίϯςφ ίϯϐϡʔςΟϯάͷਐԽγεςϜϦιʔεͷࢄஔΛՄೳʹͨ͠ɻ ωοτϫʔΫͷੑೳ͕γεςϜશମͷύϑΥʔϚϯεʹେ͖͘Өڹ͢Δɻ
͜Ε·ͰͷίϯϐϡʔςΟϯάͱσʔληϯλʔωοτϫʔΫ $MPVE/BUJWF%$/FUXPSL 8FC4DBMF యܕతͳ l'BCSJDz l$MPTzͱݺΕΔϨΨγʔτϙϩδ ίϞσΟςΟ&UIFSOFUσόΠεʹΑΔεέʔϧΞτ *1ϕʔεͷύεࢄʹΑΔ#JTFDUJPO #BOEXJEUIར༻ ଟ༷ͳϑϩʔͷࠞࡏ
$PNQVUJOH 4UPSBHF FUD $16r$FOUSJD"SDIJUFDUVSF
͍·զʑΛऔΓר͘ঢ়گͱ՝ େنݴޠϞσϧ ੜ"* ࣗવݴޠॲཧ 5SBOTGPSNFSϞσϧ ࢄػցֶश ͖ଇʹΑΔೖϞσϧͷେنԽ ˠ ઐ༻ΞΫηϥϨʔλ
(16 ͱΫϥελؒ௨৴ͷ֬อ ޫి༥߹ ΦʔϧϑΥτχΫε Ԇͱফඅిྗͷݮ ߴେ༰ྔ௨৴ ˠ ಋମ։ൃ ઐ֎ͷͨΊຊࢿྉͷείʔϓ֎
$16 ͜Ε·ͰͷίϯϐϡʔςΟϯάͱσʔληϯλʔ جຊతʹ͕ͯ͢ $16Ͱ࣮ߦ͞Ε͍ͯͨ )ZQFSWJTPST *01SPDFTT /FUXPSL4UBDL ςφϯτίʔυ ΞϓϦέʔγϣϯ /*$
"QQ LT *0 )7 /FUXPSL େྔͷσʔλసૹΛ͏ϫʔΫϩʔυͳͲͰɺ $16͕ϘτϧωοΫʹͳΔ ςφϯτॲཧʹׯব $16ϦιʔεՄೳͳݶΓ"QQ ςφϯτ Ͱར༻͍ͨ͠ 1$*F
%16*16 ͜Ε͔ΒͷίϯϐϡʔςΟϯάͱσʔληϯλʔ %JTUSJCVUFE%JTBHHSFHBUFE$PNQVUJOH $16 /*$ "QQ LT *0 )7 /FUXPSL
1$*F $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F (1(16 "*.- 1$*F 1$ *F
͜Ε͔ΒͷίϯϐϡʔςΟϯάͱσʔληϯλʔ %JTUSJCVUFE%JTBHHSFHBUFE$PNQVUJOH $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F
(1(16 "*.- 1$*F %16*16 $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F 4UPSBHF /7.F 1$*F 8FC4DBMF'BCSJD 'SPOUFOE/FUXPSL 4DIFEVMFE'BCSJD "*.- #BDLFOE/FUXPSL $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F 1$*F 1$*F
͜Ε͔ΒͷίϯϐϡʔςΟϯάͱσʔληϯλʔ 3%."#BTFE*OUFSDPOFDU $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F
(1(16 "*.- 1$*F %16*16 $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F 4UPSBHF /7.F 1$*F 4DIFEVMFE'BCSJD "*.- #BDLFOE/FUXPSL $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F $16 /*$ "QQ LT *0 )7 /FUXPSL 1$*F 1$*F 1$*F 8FC4DBMF'BCSJD 'SPOUFOE/FUXPSL
͜Ε͔ΒͷίϯϐϡʔςΟϯάͱσʔληϯλʔ $PNQVUJOH 4UPSBHF 3%."/FUXPSL
͜Ε͔ΒͷίϯϐϡʔςΟϯάͱσʔληϯλʔ )PU$IJQT5FTMBجௐߨԋ l#FZPOE$PNQVUF&OBCMJOH"*5ISPVHI4ZTUFN*OUFHSBUJPOzΑΓ
͜Ε͔ΒͷίϯϐϡʔςΟϯάͱσʔληϯλʔ l'VUVSFEBUBDFOUFSTPGBMMLJOETXJMMCFCVJMUMJLFIJHIQFSGPSNBODFDPNQVUFST z /WJEJB$&0 +FOTFO)VBOH
͜Ε͔ΒͷίϯϐϡʔςΟϯάͱσʔληϯλʔ
֤ϫʔΫϩʔυ͕ωοτϫʔΫʹٻΊΔ͜ͱ )1$ ԆͷӨڹΛඇৗʹड͚͍͢ΞϓϦέʔγϣϯͰδολճආ͍ͨ͠ ԆΛ࣮ݱ͢ΔͨΊʹɺେྔͷύέοτΛΩϡʔʹೖΕΔ͜ͱආ͚Δ %$2$/ʹ͓͚ΔύέοτϚʔΩϯάʹΑΔΞάϨογϒίϯτϩʔϧඞਢ "*.- )1$ͱରۃʹ͋Δػցֶशͷ(16ΞϓϦέʔγϣϯ ϨΠςϯγ͕·͍͕͠ɺͦΕΑΓ༻Մೳͳ࠷େεϧʔϓοτ͕ཁٻ͞ΕΔ %$2$/ͷύέοτϚʔΩϯάϥϯμϜͰঃʑʹ૿Ճͤ͞Δ
8FC4DBMF/FUXPSLͱ "*.-/FUXPSLͷҧ͍ 8FC4DBMF/FUXPSL ଟ༷ͰෆۉҰͳଟͷϑϩʔ͕ࠞࡏ͠ɺݸผͷϑϩʔͷτϥϑΟοΫখ͍͞ ΄ͱΜͲͷϑϩϯτΤϯυ௨৴5$1ʹґଘͰ͖ΔͨΊύέοτϩεʹඇৗʹ༰ "*.-/FUXPSL ଟͷδϣϒ͕ಉظ͠ͳ͕Βू߹ԋࢉΛߦ͍ɺߴଳҬ෯ͷ௨৴͕ඞཁʹͳΔ ͯ͢ͷδϣϒ͕࠷͍δϣϒʹΑͬͯ͞ΕΔ 3%."ΧʔωϧόΠύεͷͨΊ5$1ʹґଘͰ͖ͣɺύέοτϩεʹහײ "*.-Ͱඇৗʹ৴པੑͷߴ͍ύέοτసૹΛߦ͏ωοτϫʔΫΛ֬อ͢Δ͕ඞཁ͋Δ
8FC4DBMF/FUXPSLͷ՝ $PNQVUF 4UPSBHF "*.- /POTDIFEVMFE'BCSJD "*.-ϫʔΫϩʔυʹ࠷దԽ͞Ε͍ͯͳ͍ ϑϩʔΛ۠ผ͠ͳ͍ͨΊ3%."ΛࢧԉͰ͖ͳ͍ ड৴Ωϡʔͷঢ়ଶΛݩʹͨ͠ϑϩʔࢄ͕ߦΘΕͳ͍ͨΊಛఆͷΩϡʔ͕ڝ߹͢Δ ϚϧνςφϯτΛఏڙ͢ΔΫϥυඇৗʹl-PTTZzͳωοτϫʔΫ
8FC4DBMF/FUXPSLͷ՝ 3%."ͱύέοτଛࣦͷ՝ ௨ৗͷ*1ωοτϫʔΫͰ͋ΕύέοτυϩοϓΛ5$1ͷΈͳͲͰճ෮ͤ͞Δ 3%."ͷΩϡʔͰͦΕෆՄೳͰ͋ΓɺύέοτଛࣦʹΑΔੑೳԼ͕ஶ͍͠ • 3%."ͷ࠶ૹϋʔυΣΞ࣮ • (P#BDL/͕ύϑΥʔϚϯεͷԼΛট͘ • 3%."ϩεϨεωοτϫʔΫΛલఏͱͯ͠ߟҊ͞Εͨख๏
#VJMEJOHB'VUVSF1SPPG$MPVE*OGSBTUSVDUVSF"6OJGJFE"SDIJUFDUVSFGPS/FUXPSL 4FDVSJUZ BOE4UPSBHF4FSWJDFT
"*.-ϫʔΫϩʔυʹඞཁͳωοτϫʔΫ *OUFSDPOOFDUJPO/FUXPSL #BDLFOE/FUXPSL 'VMM#JTFDUJPO #BOEXJEUI -PTT-FTT'MPX$POUSPM %ZOBNJD-PBE#BMBODJOH ಠཱͨ͠Ϋϥελؒ௨৴༻ͷཪ໘ωοτϫʔΫ (16ؒͷಉظ "MMUP"MMͳͲͷू߹ԋࢉ
"*.- 8FC
ݱࡏ࠾༻͍ͯ͠Δ (16*OUFSDPOOFDU/FUXPSL5PQPMPHZ 3BJM0QUJNJ[FE5PQPMPHZ ಉ͡)$"/*$ಉ͡-FBGTXJUDIʹଓ ௨ৗ࠷ύεͰͷ௨৴͕Մೳɺঢ়گʹԠͯ͡ΞϓϦέʔγϣϯ͕࠷దͳ/*$Λબ Leaf Rail 1 Leaf Rail
2 Leaf Rail 3 Leaf Rail 4 Leaf Rail 5 Leaf Rail 6 Leaf Rail 7 Leaf Rail 8 GPU Server GPU Server GPU Server GPU Server
ϥοΫσβΠϯͷมߋ 5P3 5PQPG3BDL ͔Β &P3 &OEPG3PX ిݯͷ੍ͰεΠονωοτϫʔΫϥοΫʹू͢Δඞཁ͕͋Δ 5P3 TXJUDIͷΘΓʹύονύωϧΛஔ͢Δઃܭ
αʔόϥοΫ(16ͱ$PPMJOH&RVJQNFOUͰ༗ GPU Server Patch Panel GPU Server GPU Server Patch Panel GPU Server GPU Server Patch Panel GPU Server GPU Server Patch Panel GPU Server NW Switch Patch Panel NW Switch NW Switch Patch Panel NW Switch
*OUFSDPOOFDUJPO/FUXPSL )1$501 ʹ͓͚Δ*OUFSDPOOFDU'BNJMZ4IBSF *OGJOJCBOE &UIFSOFU IUUQTEPDTOWJEJBDPNEHYEHYIVTFSHVJEFJOUSPEVDUJPOUPEHYIIUNM
&UIFSOFUWT*OGJOJCBOE IUUQTQDOBOPHPSHTUBUJDQVCMJTIFENFFUJOHT/"/0(@$BSEPOB@5PXBSET@)ZQFSTDBMF@)JHI@WQEG
"*.-ʹ͓͚Δ*OUFSDPOOFDUͷબج४ʢҰྫʣ *OGJOJCBOE ͱʹ͔͘ԆͰͷੑೳΛٻΊΔ શʹดͨ͡ΫϥελڥͰͳ͍ 'BUUSFFͰͳ͍τϙϩδΛ࠾༻͢Δ %SBHPOGMZͳͲ 3P$&W طଘͷࢿ࢈Λ׆༻͠ɺઐ༻ϋʔυΣΞͷೋॏࢿΛճආ͍ͨ͠ ΫϥυڥͰͷϚϧνςφϯγʔ͕ཁ݅ʹ͋Δ ωοτϫʔΫͦͷͷΛεέʔϧΞτ͍ͤͨ͞
*OGJOJCBOE 3P$& ٕज़ղઆ *OGJOJCBOE3P$&ษڧձͰղઆࡁΈ աڈࢿྉΛࢀর
ϩεϨεΠʔαωοτͰඞཁͳνϡʔχϯά %$2$/ &$/ͷύϥϝʔλௐ ϓϥΠϕʔτΫϥυڥͰϢʔβ ςφϯτ ͷϫʔΫϩʔυʹ߹Θͤͯௐ͢Δ ߴͳࣝͱܦݧ͕ඞཁ ,NJO ,NBY 1NBY
,NJO 1NBY )1$8PSLMPBET (168PSLMPBET (FOFSBM8PSLMPBET ,NBY
'SPOUFOEͱ #BDLFOEͷωοτϫʔΫڞ௨Ͱྑ͍ͷ͔ʁ 3%."ωοτϫʔΫͱඇ3%."ωοτϫʔΫ໌֬ʹ͢Δ͖ ߏஙͱཧίετ্͕Δ͕τϨʔυΦϑ͕େ͖͍ ڞ௨ͷωοτϫʔΫͰेͳΩϡʔΛ֬อͰ͖ͳ͍߹͕͋Δ ඞཁͳͷ'Ϛγϯͱͦͷઐ༻ίʔεͰ͋ͬͯɺҰൠंͱߴಓ࿏Ͱͳ͍ "*.- 8FC IUUQTXXXVTFOJYPSHDPOGFSFODFOTEJQSFTFOUBUJPOCBJ
࣮ࡍͷ3P$&WϩεϨενϡʔχϯά ඇެ։
&UIFSOFU4XJUDIJOH"4*$ͷಈ • 5CQT 'MPXMFU %-#ػೳαϙʔτ ͷDIJQ͕ଓʑొ • (16(*OUFSDPOOFDUͷੈք ඇެ։
((CQTͷ՝ ඇެ։
ϨΠςϯγͱεέʔϧΞττϨʔυΦϑ ωοτϫʔΫͷαΠζͱԆͷτϨʔυΦϑ͕ଘࡏ͢Δ $MPT5PQPMPHZ *OEJSFDU5PQPMPHZ ͷආ͚ΒΕͳ͍՝ Ѽઌϊʔυ·Ͱͷϗοϓ͕૿Ճ͢ΕϨΠςϯγ૿͑Δ ͕ɺ΄ͱΜͲͷϢʔεέʔεͰʹͳΒͳ͍ ඇৗʹେنͳ)1$(16ڥͰɺ͜ΕΒʹηϯγςΟϒͳέʔεʹͲ͏ରԠ͢Δ͔
$MPTͰͳ͍τϙϩδͷݕ౼ https://pc.nanog.org/static/published/meetings/NANOG74/1763/20181003_Martin_Routing_In_Dense_v1.pdf
%SBHPOGMZ 5PQPMPHZ IUUQTEBUBUSBDLFSJFUGPSHNFFUJOHNBUFSJBMTTMJEFTSUHXHSPVUJOHJOESBHPOGMZUPQPMPHJFT
%SBHPOGMZ 5PQPMPHZ IUUQTJFFFYQMPSFJFFFPSHEPDVNFOU MMFBGSPVUFST QIPTUTQFSMFBGSPVUFST T ITQJOFSPVUFST LSPVUFSSBEJY /HSPVQ OVNCFSPGIPTUTJOUIFHSPVQ
QMTI QIL /HSPVQ QM L L
%SBHPOGMZ 5PQPMPHZݕূڥ ඇެ։
Կ͕Γ͍ͯͳ͍ͷ͔ʁ ͍·զʑʹඞཁͳςΫϊϩδʔ "EBQUJWF3PVUJOH &$.1ͷภΓΛແ͘͢%-#ͷػೳ͚ͩͰෆे .JOJNBMͱ /PONJOJNBMΛಉ࣌ʹར༻͢Δࢄํࣜ 6("-ͷΑ͏ͳΞϓϩʔνΛ*13PVUJOHͰཱࣗࢄతʹߦ͍͍ͨ IUUQTJFFFYQMPSFJFFFPSHEPDVNFOU
"*.-ωοτϫʔΫઃܭɾӡ༻ͷ͠͞ • ిݯɾۭௐઃඋͷݶք ਫྫྷઃඋͷసʹ͍Δ • ωοτϫʔΫΛৗʹ࠷େߏͰઃܭ͢Δඞཁ͕͋Δ • ܭࢉίετͱΠϯϑϥߏஙͷܦࡁ߹ཧੑ • ߴੑೳڥ͚ͷߴͳϑϩʔ੍ޚΛ͢Δඞཁ͕͋Δ
• ϢʔβͷϫʔΫϩʔυ͝ͱͷಛੑΛཧղ͠ͳ͚ΕͳΒͳ͍ • ϋʔυΣΞϦιʔεͷநԽͱϚϧνςφϯγʔͷ͠͞ • ωοτϫʔΫͱίϯϐϡʔςΟϯάͷ໌֬ͳઢҾͰ͖ͳ͍
͜͜Ͱ͍ٞͨ͜͠ͱ • ʹΈͳ͞ΜͲ͏ͯ͠·͔͢ʁ