Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Rust no_stdで作るコンテナ
Search
Takashi IIGUNI
October 10, 2021
Programming
2
2.6k
Rust no_stdで作るコンテナ
Takashi IIGUNI
October 10, 2021
Tweet
Share
More Decks by Takashi IIGUNI
See All by Takashi IIGUNI
SRE へのサポートケースをAIに管理させる方法
guni1192
2
3.5k
Other Decks in Programming
See All in Programming
After go func(): Goroutines Through a Beginner’s Eye
97vaibhav
0
230
Web Components で実現する Hotwire とフロントエンドフレームワークの橋渡し / Bridging with Web Components
da1chi
3
1.8k
Чего вы не знали о строках в Python – Василий Рябов, PythoNN
sobolevn
0
160
ИИ-Агенты в каждый дом – Алексей Порядин, PythoNN
sobolevn
0
150
LLMとPlaywright/reg-suitを活用した jQueryリファクタリングの実際
kinocoboy2
4
670
The Past, Present, and Future of Enterprise Java
ivargrimstad
0
130
タスクの特性や不確実性に応じた最適な作業スタイルの選択(ペアプロ・モブプロ・ソロプロ)と実践 / Optimal Work Style Selection: Pair, Mob, or Solo Programming.
honyanya
3
140
デミカツ切り抜きで面倒くさいことはPythonにやらせよう
aokswork3
0
190
overlayPreferenceValue で実現する ピュア SwiftUI な AdMob ネイティブ広告
uhucream
0
110
2分台で1500examples完走!爆速CIを支える環境構築術 - Kaigi on Rails 2025
falcon8823
3
3.1k
ABEMAモバイルアプリが Kotlin Multiplatformと歩んだ5年 ─ 導入と運用、成功と課題 / iOSDC 2025
akkyie
0
320
クラシルを支える技術と組織
rakutek
0
190
Featured
See All Featured
Docker and Python
trallard
46
3.6k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
A better future with KSS
kneath
239
17k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
Git: the NoSQL Database
bkeepers
PRO
431
66k
Thoughts on Productivity
jonyablonski
70
4.9k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
54
3k
Large-scale JavaScript Application Architecture
addyosmani
514
110k
Fantastic passwords and where to find them - at NoRuKo
philnash
52
3.4k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Navigating Team Friction
lara
189
15k
Transcript
Rust no_stdで作る コンテナエンジン 第15回 コンテナ技術の情報交換会@オンライン Takashi Iiguni (@guni1192) Kagawa University
10/9/2021 1
Profile • 氏名: 飯國 隆志(Takashi Iiguni) • 香川大学大学院工学研究科 信頼性情報システム工学専攻M2 •
Favorite: Container, Security, Rust, eBPF • Twitter: guni1192 • GitHub: guni1192 • 来年から東京でSoftware Engineer 10/9/2021 2
今日の話 Rustのミドルウェアも Goみたいにポータブルな バイナリを作って配りたい 10/9/2021 3
Agenda • 今日話すこと • Rustでポータブルなシングルバイナリ作る話 • Rustからlibcなしでシステムコールを呼び出す話 • Rustの標準ライブラリ縛りでコンテナもどきを作る話 •
話さないこと • OCI Runtimeの話 10/9/2021 4
Rust and Go • Goは基本的にstatic link • 標準ライブラリはあまりCに依存しないようにできてい るからstatic linkしやすい
• システムコールの呼び出しすらGoとアセンブラ • Rustは基本的にdynamic link(が多い気がする) • 標準ライブラリ(std)がlibcに依存しているからstatic linkしにくい • musl libcを使うことでstatic linkできる • 依存ライブラリの再コンパイルが必要になる場合も ある 10/9/2021 5
例えばyoukiの場合 10/9/2021 6
Rust library for implementing containers • libc: libc(7)をRustから呼び出すFFI binding •
nix: libc crateのRust likeなwrapper • ResultによるError Handleなど 10/9/2021 7
libc(7) • C言語の標準ライブラリ • printf(3)やfopen(3)などのライブラリ関数を提供 • write(2), open(2)などのシステムコールを呼ぶための関数も提供 • 実装例
• glibc(GNU C Library): GNU Projectのlibc • musl libc: MITライセンスのlibc. Alpine Linuxなどで利用されている 10/9/2021 8
Rustからlibc経由でシステムコール を発行する • Pros • 既存の実装を利用して多くの関数が利用できる • 成熟していて多くのArchに対応している • Cons
• Rustの型に合わせた実装が難しい • Resultなどが使いたかったらnixのような抽象化ライブラリが必要 • libcの脆弱性や更新などが必要 10/9/2021 9
Issue syscall in Linux x86_64 • システムコールの発行はレジスタに値を格納し,syscall命令を実行する • 結果はraxレジスタに格納 Register
write(2) execve(2) clone(2) syscall number rax 1 59 56 arg1 rdi fd cmd flags arg2 rsi buf args child stack arg3 rdx buf size env TID field in parent arg4 r10 TID field in child arg5 r8 thread pointer arg6 r9 10/9/2021 10
Rustから直接システムコールを呼ぶ Rustのinline assemblyを使う(asm!マクロ) 10/9/2021 11
余談: 僕らがシステムコールと思ってい たものはシステムコールじゃなかった • wait系のシステムコール • Linux x86_64はwait4しかない • libcのwaitpidはwait4システムコールを呼んでいる
(歴史的経緯やアーキテクチャの違いがありそう) • $ man 2 waitpidが引けたからといってシステムコールとは限らない 10/9/2021 12
苦労話: libc とシステムコール • cloneシステムコール • libcの引数とカーネル側のレジスタの値 が違う • コールバック関数があるのはlibc側の仕様
musl libcのコードは読みやすかった glibcはコメントに重要なことがたくさん書いてあった 10/9/2021 13
余談: libcを経由しないシステムコー ルの発行について • OpenBSDはlibc以外からのシステムコールをブロックする仕組みがある • 信頼できない経路からのシステムコールの発行を止めたい • この機構の導入によってGoのようなlibcを経由しない言語がブロック •
GoはOpenBSDの場合はCGOを利用するようになった 10/9/2021 14
試しにシングルバイナリの コンテナエンジンを作ろう! Rustからシステムコールを呼べた 10/9/2021 15
シングルバイナリな コンテナエンジンの要件 • std crateを使用しない • std crateはlibcに依存している • Dynamic
linkを一切しない • std crate • Rustの標準ライブラリ • Vec, Option, Boxといったプリミ ティブなライブラリを提供 • 標準マクロ,IO,マルチスレッドな どの機能 10/9/2021 16
Rust no_std • std crateを用いないモード • stdの代わりにcore crateを使用できる • core
crate • プラットフォームに依存しないポータブルな標準ライブラリ • 浮動小数点,文字列,スライス,アトミック操作やSIMD命令などのAPIを提供 • 一般的にカーネルやブートローダ,ベアメタルな環境で用いるモード • 動的メモリ確保などの昨日は 備考: Rustのno_std環境をちゃんと触るなら 「Writing an OS in Rust」https://os.phil-opp.com がおすすめ 10/9/2021 17
Nosc(No std container) • Portable and Tiny Container Engine •
without std crate • without dynamic link binary • Environment • Linux >= 5.7 • Arch: x86_64 • Cgroup v2 • https://github.com/guni1192/nosc 10/9/2021 18
Nosc Feature • プロセスのNamespaceの分離 • プロセスを親と異なるCgroupへ所属 • 必要なシステムコール • clone3
• execve • write • open • wait4 • mkdir 10/9/2021 19
clone3 • 子プロセスを作るシステムコール • Linux 5.3で追加された • Linux 5.7以降で子プロセスを親とは別のcgroupに配属可能に •
clone_args.cgroupに配属させるcgroupディレクトリのfdを与えて実行 • clone_args.flagsにCLONE_INTO_CGROUPを指定 10/9/2021 20
Nosc Run container 10/9/2021 21
Binary size Container Engine Size(Bytes) Nosc (static link + stripped)
24,904 go tiny container (static link + stripped) ※ 1,584,856 youki (striped) 2,574,792 runc (striped) 11,445,576 ※go tiny containerは即興で作ったnoscと似たような挙動をするコンテナエンジン 10/9/2021 22
Future work • libcに依存しないAlternative nixみたいなものを作ってみても面白そう • Cに依存しないコンテナエンジンとかも面白そう Summary • Rustでもポータブルなバイナリを作りたかった
• libc無しでシステムコールを発行するライブラリを作っている • no_std環境で動くコンテナエンジンもどきを作ってみた • 失って初めて分かるstdとlibcの便利さ 10/9/2021 23