いまいちどスライスの 挙動を見直してみる

DMM.go#8で登壇した際の発表資料です

connpass
- https://dmm.connpass.com/event/322113/

Transcript

1. © DMM CONFIDENTIAL いまいちどスライスの 挙動を見直してみる DMM.go #8 24新卒 松本響輝(matumoto) 2024-07-23
2. 発表の目的 • スライスがどう作られているのか把握する • 気をつけたい罠とその対策を理解する 2 スライスに関して改めて 詳しくなってもらいたい！
3. 目次 • 基本操作のおさらい • スライスの実体 • 気をつけること • Tips 3
4. 基本操作のおさらい 4
5. スライスの宣言 • []T で型 T のスライスになる 5
6. スライスのリテラル • []T{x1, x2, … , xn} で型 T の要素をn個もつスライスになる 6
7. スライス式 • a[low:high] でスライスを構築できる 7
8. スライスの実体 8
9. スライスがどう実装されているか • 配列へのポインタ、長さ、容量 を持った構造体 9 引用：https://github.com/golang/go/blob/master/src/runtime/slice.go
10. 配列を参照している 10 3 1 4 1 5 x := []int{3,1,4,1,5} y := x[1:3] ptr len:5 cap:5 ptr len:2 cap:4 [5]int []int []int
11. ポインタの値をコピー • y := x はポインタの値がコピーされる 11 3 1 4 1 5 x := []int{3,1,4,1,5} y := x ptr len:5 cap:5 ptr len:5 cap:5 [5]int []int []int
12. 容量 (capacity) はどう増えるか • append関数で要素を追加するとき、長さや容量が増えていく 12 x := []int{3,1,4,1,5} ptr len:5 cap:5 x = append(x, 10, 11) len:7 cap:10 ptr
13. 容量 (capacity) はどう増えるか • 元が256より小さい場合： 2倍ずつ増える • 元が256以上の場合： 1.25倍+192ずつ増える • 192足すのは256付近でもスムーズに増やすため 13 例. capacityを256→350 にしたい +192なし：2回 • 256 * 1.25 = 320 • 320 * 1.25 = 400 +192あり：1回 • 256 * 1.25 + 192 = 512 詳細：https://github.com/golang/go/blob/master/src/runtime/slice.go#L289
14. 気をつけること 14
15. 今回は２つ紹介 15 要素の変更 a[0] = 10 メモリ管理 return a[:3]
16. 1.要素の変更 16
17. 「1.要素の変更」を正しく使っている例 17 引用元：https://github.com/golang/go/blob/master/src/slices/zsortordered.go slices 標準パッケージでのソート処理
18. 「1.要素の変更」の使いどころ 18 • 副作用のある関数で使う • パフォーマンス的に都合が良い場合 • sort, swap • ※ただし、一般的なWebアプリケーション開発ではDB処理などの方が重くなりが ちなので、変数のコピーコストなどは無視することが多いです
19. 「1.要素の変更」の対策 19 • linterで検知する • go-reassignでトップレベル変数への再代入の検知（golangci-lintあり） • goboundcheckで境界チェック • なお、関数が持つ仮引数への再代入検知を行う、というようなlinterは見つけられ ませんでした（作ることはできそうです） • レビューで気づく • a[i] = 0 みたいな文があったら注意です
20. 2.余分なメモリ参照 • スライスが参照している限り、配列を保持し続ける 20 0 0 0 0 0 x := make([]int, 0, 1000) x = x[:3:3] ptr len:3 cap:3 [1000]int []int … 1000要素分メモリが確保されたまま
21. 「2.余分なメモリ参照」のわるい例 • 読み取ったファイル全体は保持されたまま 一部改変して引用：https://go.dev/blog/slices-intro 21
22. 「2.余分なメモリ参照」を改善した例 • 必要な分だけメモリを再確保している 一部改変して引用：https://go.dev/blog/slices-intro 22
23. 「2.余分なメモリ参照」の対策 • 静的解析での検知は難しい • 実行時の挙動であるため厳密に検知できない • レビューで気づく • スライスを受け取って部分スライスを返している関数などに注意 • regexpパッケージの結果をそのまま返している部分など • 例. return digitRegexp.Find(a) 23
24. Tips スライスに関するTips 24
25. sync.Poolによる使い回し • リクエストごとにスライスを作る...というのですら高速化したい • sync.Poolを用いてメモリ領域を使い回すのがよくある手法 • これをラップしたbytebufferpoolというライブラリがある • fasthttpなどで使用されている 25
26. fasthttpでの例 • fasthttpではレスポンスボディを使い回している 26 引用：https://github.com/valyala/fasthttp/blob/master/http.go
27. まとめ 27
28. まとめ • スライスは配列を参照するポインタを持っている • 要素の変更や余分なメモリ参照は気をつけよう • sync.Poolでメモリを使いまわせる 28
29. ご清聴ありがとうございました！