Go標準パッケージのI/O処理をながめる

「Go Junction#1 by DeNA.go & DMM.go & CA.go」で発表した登壇資料です。

イベントページ: https://cyberagent.connpass.com/event/381653/

Transcript

1. © DMM © DMM Go標準パッケージの I/O処理をながめる 2026/03/12 Go Junction #1 合同会社DMM.com 松本響輝 2026/03/12
2. © DMM 2 松本 響輝 (matumoto) • 合同会社DMM.com 開発統括本部 マーケティングテクノロジー部所属 • Goがちょっと好きな24新卒です • X(Twitter): @matumoto_1234 • DMM.go 運営やってます！
3. © DMM 今回話すこと 3
4. © DMM 標準パッケージのI/O処理についての話 • ioやいくつかのパッケージに関しての紹介 • その内部での仕組み ◦ ファイルディスクリプタ、kqueue、など ◦ （ほぼ入門的な立ち位置になります） 4
5. © DMM 標準パッケージのI/O処理についての話 • ioやいくつかのパッケージに関しての紹介 • その内部での仕組み ◦ ファイルディスクリプタ、kqueue、など ◦ （ほぼ入門的な立ち位置になります） 5 標準で提供されているパッケージを知って 実装時の手札を増やしたい！
6. © DMM 標準パッケージのI/O処理についての話 • ioやいくつかのパッケージに関しての紹介 • その内部での仕組み ◦ ファイルディスクリプタ、kqueue、など ◦ （ほぼ入門的な立ち位置になります） 6 標準で提供されているパッケージを知って 実装時の手札を増やしたい！ さらに、内部の仕組みを理解したい！
7. © DMM ioパッケージの紹介 7
8. © DMM インターフェース四天王（個人的） • io.Reader • io.Writer • io.Seeker • io.Closer 8
9. © DMM io.Reader 9 読み込みを抽象化したインターフェース
10. © DMM io.Writer 10 書き込みを抽象化したインターフェース
11. © DMM io.Seeker 11 「シーク」を抽象化したインターフェース
12. © DMM シークとは 12 読み書きの位置を決めることができる 先頭から offset分
13. © DMM シークとは 13 読み書きの位置を決めることができる 現在の位置から offset分
14. © DMM シークとは 14 読み書きの位置を決めることができる 末尾から offset分
15. © DMM whenceの値は定義されている 15
16. © DMM io.Closer 16 閉じる処理を抽象化したインターフェース
17. © DMM 他にも多くの型が提供されている 17 • io.ReaderAt / io.WriterAt • io.ReaderFrom / io.WriterTo • io.RuneReader • io.PipeWriter • など
18. © DMM ioパッケージの補助関数 18
19. © DMM io.LimitReader() 19 n バイト後にEOFで停止するio.Readerにできる
20. © DMM io.MultiReader() 20 複数の io.Reader を結合して 1 つにできる
21. © DMM io.TeeReader() 21 読み取る内容を同時に書き込む io.Reader にする
22. © DMM io.TeeReader() 22 「Read()の度にlogWriterに書き込まれる」 ということができる
23. © DMM io.Copy() 23 io.Reader から読み取ってEOFまで io.Writer に書き込む デフォルトで32KBのバッファリングをする
24. © DMM 他にも多くの補助関数が • io.CopyN(): n バイトだけ src から dst にコピー • io.ReadAll(): EOFまで読み取る • io.ReadAtLeast(): 少なくとも min バイト読み込む • io.Pipe(): Writerに書き込んだものがReaderから読み取れる • など 24
25. © DMM fmtパッケージ 25
26. © DMM fmtパッケージ • fmt.Fscan() や fmt.Fprint() が用意されている 26
27. © DMM fmtパッケージ • fmt.Fscan() や fmt.Fprint() が用意されている 27 バッファリングするかは インターフェースの 実装まかせ
28. © DMM fmtパッケージ • fmt.Fscan() や fmt.Fprint() が用意されている 28 例えば *os.File の Read メソッドはバッファリング されていない そのまま渡すと遅くなりがち...
29. © DMM bufioパッケージ 29
30. © DMM bufio パッケージ 30 bufio パッケージというものがある バッファリングしたReader,Writerを作れる
31. © DMM bufio パッケージ 31 デフォルトのバッファサイズは4096byte （ファイルシステムの一般的なブロックサイズと、ほとんどのOSの 標準メモリページサイズに一致）
32. © DMM bufio パッケージ 32 bufioで包むだけで 簡単にバッファリングできる
33. © DMM 小ネタ: bufioとio.Copy併用はメモリだけ食う 33 併用すると二重でバッファリングしてしまう 速度に関しては大して変わらない 雑ベンチマークなのであくまで参考程度に..!
34. © DMM memprofileではWriterだけbufioが省メモリ 34 雑ベンチマークなのであくまで参考程度に..!
35. © DMM ベンチマークコード • https://gist.github.com/matsumoto-hibiki/f1403b80f9dda26 1958f404d14abe0bf • 計測方法が間違っていたらこっそり教えてくださいm(_ _)m 35 雑ベンチマークなのであくまで参考程度に..!
36. © DMM いろいろあってすごい！
37. © DMM ぜひとも使っていきたい！ とはいえ、 内部も知りたいですよね？
38. © DMM 次は、I/O処理の内部 についてながめます
39. © DMM os.File 39
40. © DMM I/O処理でよく使われる os.File 型 40
41. © DMM 41 今回は読み込み処理について深掘りします
42. © DMM I/O処理でよく使われる os.File 型 42 *os.file を埋め込みしている
43. © DMM os.File 型の Read メソッド 43 os.File 型の read メソッドを呼んでいる
44. © DMM os.File 型の read メソッド 44 f.pfd.Read を呼んでいる
45. © DMM f.pfd は poll.FD 型のフィールド 45
46. © DMM poll.FD 型の Read メソッド 46 syscall.Read を呼んでいる！
47. © DMM 呼び出し図解 47 (*os.File).Read() (*os.File).read() poll.FD.Read() syscall.Read() read(2) システムコール
48. © DMM 呼び出し図解 48 (*os.File).Read() (*os.File).read() poll.FD.Read() syscall.Read() read(2) システムコール ファイルに関する 処理なのはわかる
49. © DMM 呼び出し図解 49 (*os.File).Read() (*os.File).read() poll.FD.Read() syscall.Read() read(2) システムコール システムコールを 呼ぶのもわかる
50. © DMM 呼び出し図解 50 (*os.File).Read() (*os.File).read() poll.FD.Read() syscall.Read() read(2) システムコール poll.FDとは..?
51. © DMM internal/poll パッケージがある 51
52. © DMM internal/poll パッケージについて 52 (翻訳) Package poll は、ポーリングによるファイル記述子でのノン ブロッキング I/O をサポートします。これにより、スレッドではなく goroutine のみをブロックする I/O 操作が可能になります。これは net パッケージおよび os パッケージで使用されます。ランタイムに 組み込まれたポーラーを使用し、ランタイムスケジューラのサポー トを受けています。
53. © DMM その中の poll.FD 型 53
54. © DMM ファイルディスクリプタ(FD) • プロセスがファイルを識別するためにカーネルが割り当てる非 負の整数値 • 0, 1, 2 は特殊なFDとしてあらかじめ /dev/stdin, /dev/stdout, /dev/stderr にそれぞれ紐づけられている 54 0 1 2 3 …
55. © DMM 読み込みまでの流れ 1. プロセスがファイルを open 2. カーネルによって発行された FD を保持 3. その FD に対して read 55
56. © DMM 読み込みまでの流れ 1. プロセスがファイルを open 2. カーネルによって発行された FD を保持 3. その FD に対して read 56 poll.FD の Read() がここ
57. © DMM ちなみに
58. © DMM （再掲）internal/poll パッケージについて 58 (翻訳) Package poll は、ポーリングによるファイル記述子でのノン ブロッキング I/O をサポートします。これにより、スレッドではなく goroutine のみをブロックする I/O 操作が可能になります。これは net パッケージおよび os パッケージで使用されます 。ランタイム に組み込まれたポーラーを使用し、ランタイムスケジューラのサ ポートを受けています。
59. © DMM （再掲）internal/poll パッケージについて 59 (翻訳) Package poll は、ポーリングによるファイル記述子でのノン ブロッキング I/O をサポートします。これにより、スレッドではなく goroutine のみをブロックする I/O 操作が可能になります。これは net パッケージおよび os パッケージで使用されます 。ランタイム に組み込まれたポーラーを使用し、ランタイムスケジューラのサ ポートを受けています。 poll.FD は net パッケージでも使われている
60. © DMM net.Conn インターフェース 60 Read, Write, Close その他のメソッドを持つ
61. © DMM net.Conn インターフェースを実装するもの 61 net.TCPConn や net.UDPConn がある
62. © DMM net.Conn インターフェースを実装するもの 62 net.TCPConn や net.UDPConn がある 両方とも net.conn を埋め込んでいる
63. © DMM net.conn 63 net.conn は fd *netFD をフィールドに持つ
64. © DMM net.netFD 64 net.netFD に poll.FD が..!
65. © DMM poll.FD の呼び出し元を整理 65 net.netFD net.conn net.TCPConn net.UDPConn poll.FD
66. © DMM poll.FD は両方から使われる 66 net.netFD net.conn net.TCPConn net.UDPConn poll.FD os.File os.file
67. © DMM いったんここまで整理 • os.File の Read では poll.FD の Read が呼ばれてる！ • net.TCPConn の Read でも poll.FD の Read が呼ばれてる • そしてシステムコールを使って読み込み処理をしている！ 67
68. © DMM なんとなく ... わかった気がする
69. © DMM さっきのpollにもどって ...
70. © DMM （再掲）internal/poll パッケージについて 70 (翻訳) Package poll は、ポーリングによるファイル記述子での ノンブロッキング I/O をサポートします。これにより、スレッドでは なく goroutine のみをブロックする I/O 操作が可能になります。 これは net パッケージおよび os パッケージで使用されます。ラン タイムに組み込まれたポーラーを使用し、ランタイムスケジュー ラのサポートを受けています。
71. © DMM goroutineのみを ブロック？
72. © DMM ここで出てくるのが ランタイムの GMPモデル
73. © DMM GMPモデル • G: Goroutine。 • M: Machine。OSのスレッド • P: Processor。GとMの紐付けをするキューを持つ • グローバルキュー: グローバルに使えるGを貯めるキュー • sysmon: 監視 + グローバルキューへの移動など • system monitor（専用のMと紐づいている） • netpoller: ネットワークI/Oでポーリング処理を担うもの 73
74. © DMM こんな感じで動いているとする 74 P1 グローバルキュー G1 G2 M1 P2 G3 M2 sys mon netpoller M3
75. © DMM こんな感じで動いているとする 75 P1 グローバルキュー G1 G2 M1 P2 G3 M2 sys mon netpoller P(キュー)に積まれたGoroutineが M(OSスレッド)で実行されていく M3
76. © DMM こんな感じで動いているとする 76 P1 グローバルキュー G1 G2 M1 P2 G3 M2 sys mon netpoller G3がネットワーク 読み込み待ちになる M3
77. © DMM こんな感じで動いているとする 77 P1 グローバルキュー G1 G2 M1 P2 G3 M2 sys mon netpoller sysmonがnetpollerに送る M3
78. © DMM こんな感じで動いているとする 78 P1 グローバルキュー G1 G2 M1 P2 G3 M2 sys mon netpoller M3 読み込み準備が完了したら、 グローバルキューに入れる
79. © DMM M3 こんな感じで動いているとする 79 P1 グローバルキュー G1 G2 M1 P2 G3 M2 sys mon netpoller 空いているM(OSスレッド)は 別のGを割り当てて使える
80. © DMM M3 こんな感じで動いているとする 80 P1 グローバルキュー G1 G2 M1 P2 G3 M2 sys mon netpoller 空いている M(OSスレッド)は 別のGを割り当てて使える →OSスレッドはブロックしない !
81. © DMM netpollerのイベント監視 • netpoller内の複数のGoroutineの監視の際、 • Linuxではepoll • Mac/BSDではkqueue • というシステムコールが使われ、監視を行っている 81
82. © DMM （小ネタ）RPCシナリオに特化したnetpoller • １接続１Goroutineとなるような仕組みだが、それを 改良した cloudwego/netpoll パッケージがある 82 https://github.com/cloudwego/netpoll/tree/bd031f0ffc8286516d788283c47fd825ee1272d7
83. © DMM まとめ
84. © DMM まとめ • I/O処理ではシステムコールが呼ばれている • Goの内部ではgoroutineとOSスレッドの割り当てをうまくするこ とでOSスレッドのブロッキングを防ぐ仕組みがある • （少なくともNetwork I/Oでは。Network I/O以外でnetpollerのような仕 組みは見つけられずでしたがあるんでしょうか） • netpoller では epoll や kqueue といったシステムコールでイベ ント監視をしている 84
85. © DMM 参考 • https://speakerdeck.com/sakiengineer/sukeziyurakaraxue-bugorantaim u-code-reading-of-runtime-pkg • https://speakerdeck.com/sakiengineer/o-in-gorantaimu • https://zenn.dev/hsaki/books/golang-io-package/viewer/intro • https://qiita.com/takc923/items/de68671ea889d8df6904 • https://goperf.dev/02-networking/networking-internals/ 85
86. © DMM ご清聴 ありがとうございました