Ruby 3の型解析に向けた計画

大阪Ruby会議02

Transcript

1. Ruby 3の型解析 に向けた計画 遠藤 侑介 大阪Ruby会議02 1
2. 自己紹介：遠藤侑介 (@mametter) • クックパッドで働く フルタイムRubyコミッタ • テスト、CIの番人 • キーワード引数 粉砕 整理 • Ruby 3の静的解析 • クックパッドに興味あったら お声がけください 2
3. 余談：Ruby3キーワード引数の変更 Ruby2では「最後の引数=キーワード引数」だった Ruby3ではこれらが禁止される予定！ • キーワード引数はキーワード引数として受け渡ししよう • オプショナル引数はハッシュとして受け渡ししよう 3 def foo(kw: 1); end foo(kw: 42) def foo(kw:1); end foo(**hash) def foo(kw: 1) end foo({ kw: 42 }) def foo(kw: 1) end foo(hash)
4. 余談：Ruby2.7のキーワード引数 •直すべきメソッド呼出しにレベル1警告が出ます • 詳細な案内は追ってどこかに書きます • まだ詳細な仕様が決まっていない（委譲を調整中） • Railsはだいたい対応済み (!?) 4 def foo(kw: 1) end foo({ kw: 42 }) test.rb:3: warning: The last argument is used as the keyword parameter test.rb:1: warning: for `foo' defined here
5. この発表では • Ruby 3の静的解析の構想と進捗 •型プロファイラの設計と実装 • の、細かくて難しい面をはじめて話します 5
6. 質問：型注釈 書きたいですか？ 6 def increment: (Integer) -> Integer def increment(n) n + 1 end ソースコード 型注釈
7. 質問：型注釈 書きたいですか？ 🙋 • 書きたくないし、他人にも書いてほしくない • 書きたくないが、他人はどちらでもいい • 書きたくないが、他人には書いてほしい • 書きたい 7
8. Ruby 3の静的解析の構想 •目的: バグっぽいコードを指摘する • 要件: Rubyのプログラミング体験を維持する （自分で）型を書かない選択肢を残したい •構想 1. 標準の型シグネチャ言語 2. 型シグネチャなし型検査＋シグネチャ推定 3. 型シグネチャあり型検査 8
9. 1. 型シグネチャフォーマット(.rbs) Rubyコードの型情報を示す標準形式 9 class Array[X] < Object include Enumerable def []: (Integer) -> X? def []=: (Integer, X) -> X def each: () { (X) -> void } -> Array[X] ... end 組み込みメソッドの.rbsをRuby 3に同梱予定 コントリビューションチャンス！ github.com/ruby/ruby-signature
10. 2. 型シグネチャなし検査＋推定 無注釈コードの緩い型検査＋型シグネチャ推定 def foo(n) n + "s" end def bar(n) ary = [1, "S"] ary[n] end foo(gets.to_i) bar(gets.to_i) 10 型プロファイラ開発中 github.com/mame/ruby-type-profiler def bar: (Int) -> (Int | Str) TypeError: failed to resolve Integer#+(String) mruby 向けには mruby-meta-circular も
11. 3. 型シグネチャあり型検査 型シグネチャとコードの整合性を検査する class Foo def foo(s) s + 42 end def bar(s) s.gsuub(//,"") end end class Foo def foo:(Str)->Int def bar:(Str)->Int end 11 TypeError! Str + Int NoMethod Error! Steep github.com/soutaro/steep Sorbet github.com/sorbet/sorbet 整合？
12. Ruby 3の方向性 •ライブラリ作者 .rbs 書いてください🙏 （型プロファイラの推定機能でサポートはしたい） • アプリ作者 • 注釈書かず、検査もいらない → Ruby 2と同じ • 注釈を書いてしっかり検査 → Steep/Sorbet等 • 注釈を書かず、緩く検査したい→型プロファイラ！ 12
13. 型プロファイラの話 13
14. 型プロファイラとは •目的：（アプリの）型シグネチャなしで • ざっくり型エラーを探す • 型シグネチャのプロトタイプを生成する • 方法：プログラムを型レベルで実行する • ライブラリの型シグネチャ • アプリのテスト は必要 14
15. 型プロファイラの動作イメージ Rubyコードを「型レベル」で実行する 普通のインタプリタ def foo(n) n.to_s end foo(42) Calls w/ 42 Returns "42" 型プロファイラ def foo(n) n.to_s end foo(42) Calls w/ Integer Returns String Object#foo :: (Integer) -> String 15
16. 型プロファイラと分岐 実行を「フォーク」する def foo(n) if n < 10 n else "error" end end foo(42) Fork! イマココ n<10 の真偽は わからない Object#foo :: (Integer) -> (Integer | String) 16 Returns String Returns Integer
17. どのくらいできている？ •型プロファイラ自身が5秒で解析できる • 2000行程度の普通のRubyコード •optcarrotが3秒で解析できる • 5000行程度の普通のRubyコード 17
18. 例：ユーザ定義クラス class Foo end class Bar def make_foo Foo.new end end Bar.new.make_foo Type Profiler Bar#make_foo :: () -> Foo
19. 例：インスタンス変数 class Foo attr_accessor :ivar end Foo.new.ivar = 42 Foo.new.ivar = "STR" Foo.new.ivar Type Profiler Foo#@ivar :: Integer | String Foo#ivar= :: (Integer) -> Integer Foo#ivar= :: (String) -> String Foo#ivar :: () -> (String | Integer)
20. 例：ブロック def foo(x) yield 42 end s = "str" foo(1) do |x| s end Type Profiler Object#foo :: (Integer, &Proc[(Integer) -> String]) -> String
21. 例：再帰関数 def fib(n) if n > 1 fib(n-1) + fib(n-2) else n end end fib(10000) Type Profiler Object#fib :: (Integer) -> Integer
22. 型プロファイラの何が難しいか？ • 真似できる成功事例がない 抽象解釈・記号実行 長年研究されてきたが😟 • スケーラビリティと精度のトレードオフが難しい 型プロファイラは見逃しも誤検出も許容する •実装がとにかく地味に大変 フルセットのRubyインタプリタ＋型レベル評価設計 • 「コンテナ型」が扱いづらい  今日のメイン 22
23. コンテナ型とは？ •配列やハッシュなど、他の型を要素に持つ型 • 配列を中心に説明します •問題：型プロファイラで配列をどう扱うか？ 23 a = [1, "str", true] p a[0] #=> Integer p a[1] #=> String p a[2] #=> Boolean
24. 解決策1：単なる「Array」型 •例えばIntegerの場合 •問題点：要素の型が出てくると破滅 24 n = 1 # Integer型 n.times {|i| } # Integer#timesとわかる a = [1] # Array型 a[0] # 要素の型は不明（any型） a[0].times {|i| } # 何もわからない a[0].tmes {|i| } # 警告もできない
25. 解決策2: ジェネリクス？ •要素の型を持つ型 • 問題点：破壊的変更があると型が変わる！ a = [1] # Array<Integer>と推定 a[0] # Integerとわかる a[0].times {|i| } # Integer#timesとわかる a = [1] # Array<Integer>と推定 a << "str" # Array<Integer|String>に変わる！
26. 解決策2: ジェネリクス？（続き） • 型プロファイラでは値レベルの区別がない 26 a = [1] # Array<Int> b = [1] # Array<Int>（aと完全に同じ型？） a[0] = "str" # Array<Int>がArray<Str>に変更?? b[0] # String?? a = [1] # Array<Int> b = a # Array<Int>（aと同じ型） a[0] = "str" # Array<Int>がArray<Str>に変更 b[0] # String
27. 解決策3：値レベルの区別を入れる •ナイーブにやると解析が有限時間で止まらない • わりと研究中の分野（separation logic） • 一方 Sorbet は型注釈を使った 27 a = T.let([1], T::Array[T.any(Integer, String)]) b = a a[0] = "str" b[0] # String | Integer
28. 型プロファイラの現在の設計 (1) 配列ができた位置（allocation site）で区別 完璧ではないがわりとよくある妥協 28 1: a = [1] # Array<1行目> # 1行目→Int 2: b = [1] # Array<2行目> # 1行目→Int 2行目→Int 3: a[0] = "str" # 1行目→Str 2行目→Int 4: b[0] # Array<2行目>の要素はInt 1: a = [1] # Array<1行目> # 1行目→Int 2: b = a # Array<1行目> # 1行目→Int 3: a[0] = "str" # 1行目→Str 4: b[0] # Array<1行目>の要素はStr
29. 設計 (1) の問題 29 1: class Foo 2: def to_a 3: [42] # Array<3行目> 4: end 5: end 6: a = Foo.new.to_a # Array<3行目> 7: b = Foo.new.to_a # Array<3行目> 8: a[0] = "str" 9: b[0] # String??
30. 型プロファイラの現在の設計 (2) メソッドは超える時は位置情報を失うとする 30 1: class Foo 2: def to_a(a) 3: [42] # Array<3行目> 4: end 5: end 6: a = Foo.new.to_a # Array<6行目>（3行目ではない） 7: b = Foo.new.to_a # Array<7行目>（3行目ではない）
31. 型プロファイラの現在の設計 (3) • タプル型：長さ固定、各要素を区別する 31 ary = [1, "str"] # [Int, Str] ary[0] # 0番目はInt ary[0].times {|i| } # IntなのでInt#timesとわかる ary = [1] + ["str"] # Array[Int | Str] ary[0] # Int | Str ary[0].times {|i| } # Str#timesも呼ぶかも、と警告 •シーケンス型：長さ不明、全要素をまとめる
32. 現在の設計 (3) •リテラル型：元のリテラルの値を持つ型 32 0 # Literal<0, Int> ary[0] # リテラル型なので0とわかる def access(a, n) a[n] # nはIntなので、aryのどこを読むかは不明 end access([1, "STR"], 0) #=> Int|Str # Literal<0, Int>だがメソッドには渡らない リテラル型もメソッド境界は超えない
33. 配列型の実装の細々した問題 型の領域が無限になる • Array<Int> • Array<Array<Int>> • Array<Array<Array<Int>>> • … • 適当な深さで打ち切る予定 33 a = 42 while true a = [a] end
34. 可変長引数のサポート 配列ができたら（一応）やるだけ 34 def foo(a, *r, z) end foo(1, 1, "str", 1) foo: (Int, Array<Int|Str>, Int) -> NilClass def foo(a, b, c) end ary = [42] + ["str"] foo(*ary) foo: (Int|Str, Int|Str, Int|Str) -> NilClass
35. 余談：既知のバグ 35 def foo(a, b, c) end ary = [1] foo(1, *ary, "str") foo:(Int, Int, Str)->Nil foo:(Int, Int|Str, Int|Str)->Nil 期待 実際 foo(1, *ary, "str") foo(1, *(ary.dup+["str"])) は のように動く 理由：YARVバイトコードの実装の都合
36. 関連研究 •mruby-meta-circular (Hideki Miura) • 型プロファイラの元ネタ • Type Analysis for JavaScript (Jensen, et al.) • pytype (Google's unofficial project) • 型解析のための抽象解釈器の事例 36
37. まとめ •Ruby 3の静的解析の構想を説明しました • 型プロファイラの難しみ（コンテナ型）を 説明しました • いろいろ悩みながらやってます • 協力者募集中！ https://github.com/mame/ruby-type-profiler 37