Polars と遅延評価

Polars と遅延評価  関西 Kaggler 会 in Osaka 2023#3  johannyjm1 

自己紹介  ❖ johannyjm1 (Yoshitaka Tomiyama)  ❖ 𝕏 で仲良くなった人と飲むのが趣味  ❖ 好きなギタリストは 
Yngwie Johann Malmsteen (YJM) 

弁財天参加者募集！  ❖ AI ミュージックバトル！『弁財天〜第二幕〜』   ❖ 伴奏に AI でメロディを乗せる！  
❖ 皆で聴いて良い方に投票！   ❖ バトル型トーナメント！！   ❖ 10/28 土 (来週！！！)  benzaiten-online.com で  予選投票中！！！！！！！ 

Polars とは 

Polars  ❖ lightning-fast⚡なデータフレームライブラリ  ➢ 実行も速いし、メモリ効率も良い   ❖ Kaggler 界隈には OTTO
コンペを通して盛り上がりを見せる  ❖ 現在 Polars の本を執筆中 

Polars は何故速い？  ❖ バックエンドが Rust で書かれている  ➢ Polars の rs
は Rust  ❖ マルチコアでの並列処理を可能な限り利用する  ➢ Embarrasingly parallel  ❖ 遅延評価を提供する API、クエリ最適化  https://www.pola.rs/posts/i-wrote-one-of-the-fastest-dataframe-libraries/

Polars は何故速い？  ❖ バックエンドが Rust で書かれている  ➢ Polars の rs
は Rust  ❖ マルチコアでの並列処理を可能な限り利用する  ➢ Embarrasingly parallel  ❖ 遅延評価を提供する API、クエリ最適化  https://www.pola.rs/posts/i-wrote-one-of-the-fastest-dataframe-libraries/ 今日はこれについて話します！ 

遅延評価 

遅延評価とは  式の評価を「必要になるまで」行わない、サボる仕組みのこと 

遅延評価とは  式の評価を「必要になるまで」行わない、サボる仕組みのこと  ❖ 逐次的に評価を行うのは正格評価  ➢ これらの規則群を評価戦略などという   ❖ Polars の機能としては遅延評価：Lazy
API、正格評価：Eager API として提供される  ❖   ❖ ガチ目の内容は Haskell の話とかをする必要があるため、本日は「ざっくり」

遅延評価が嬉しいケース  クソデカ配列を作成し、先頭の 5 要素を取得する 

遅延評価が嬉しいケース  クソデカ配列を作成し、先頭の 5 要素を取得する  ❖ 正格評価の場合、クソデカ配列をちゃんと作るのでおそい  ❖ 遅延評価の場合、配列作成は一旦サボる→要素が 5 個だけ必要と分
かってから処理を行うのですぐに終わる 

Python における遅延評価 

Python における遅延評価  generator... の前に range オブジェクトから 

Python における遅延評価  generator... の前に range オブジェクトから  5000 兆要素を  作ってはいない 

Python における遅延評価  generator：クソデカ配列のように定義されるが、必要な分しか取得されない 

Python における遅延評価  おまけ：range でお手軽 generator の作成 

Python における遅延評価  おまけ：range でお手軽 generator の作成  角カッコ [ ] を使うと 
5000 兆個作っちゃうので注意  

Python における遅延評価  短絡評価（short-circuit evaluation）・・遅延評価の一種 

Python における遅延評価  短絡評価（short-circuit evaluation）・・遅延評価の一種  ❖ and での評価なので片方が False なら式全体が False
→もう片方は評価されない   ➢ こう書くことで idx に out of range な値が来ても右辺で IndexError にならない

Polars における遅延評価 

Polars における遅延評価  ❖ クソデカ CSV に対して  ➢ データフレームとして読み込む   ➢
先頭の N 行を取得する（もしくは先頭の N 行を用いて値を計算する）   Polars でも同じようなことができる 

Polars における遅延評価  ❖ クソデカ CSV に対して  ➢ データフレームとして読み込む   ➢
先頭の N 行を取得する（もしくは先頭の N 行を用いて値を計算する）   Polars でも同じようなことができる  正格評価：Eager API  693ms  遅延評価：Lazy API  33ms 

遅延評価とクエリ最適化  必要になるまで評価をしない→蓄積されたクエリを最適化してくれる  正格評価：Eager API  2.89s  遅延評価：Lazy API  445ms 

遅延評価機能 Lazy API の使い方 

遅延評価機能 Lazy API の使い方  いつもの df に対し df.lazy() とするだけで LazyFrame
クラスになってくれる 

遅延評価機能 Lazy API の使い方  いつもの df に対し df.lazy() とするだけで LazyFrame
クラスになってくれる  ❖ 最初から LazyFrame で読み込むことも可（この時点でデータは読まれない） 

遅延評価機能 Lazy API の使い方  ➢ 一部 pandas-like な書き方をサポートしていないがち（ df["col"] みたいな列抽出とか）
  ▪ pivot もできない（代替手段はある）   LazyFrame は DataFrame と「基本的」に同様に操作できる 

遅延評価機能 Lazy API の使い方  ➢ 蓄積されたクエリはいい感じに最適化される   ▪ ﬁlter や
select は最初にやる、みたいなシンプルなものから最適な型への変換や結合順序の推定までさまざま。詳しくは Polars book へ  一連の操作（エクスプレッション）はクエリとして蓄積されていく 

遅延評価機能 Lazy API の使い方  ➢ 蓄積されたクエリはいい感じに最適化される   ▪ ﬁlter や
select は最初にやる、みたいなシンプルなものから最適な型への変換や結合順序の推定までさまざま。詳しくは Polars book へ  一連の操作（エクスプレッション）はクエリとして蓄積されていく  正格評価：Eager API  1.06s（処理完了）  遅延評価：Lazy API  391μs（クエリ蓄積のみ） 

遅延評価機能 Lazy API の使い方  ➢ こうすることでようやく中身が見えるので、 EDA や初期構築時など中身を頻繁に確認したい場面には向かないかも  lf.collect()
とすることで式が評価され、データフレームが具体化 

遅延評価機能 Lazy API の使い方  ➢ こうすることでようやく中身が見えるので、 EDA や初期構築時など中身を頻繁に確認したい場面には向かないかも  lf.collect()
とすることで式が評価され、データフレームが具体化  LazyFrame を表示すると  蓄積されたクエリが見える   LazyFrame.collect()  で具体化 

Streaming API  ❖ Lazy API の機能の一つ（開発中だけど使える）  ❖ collect の引数に streaming=True
を渡すだけ  ❖ クエリ最適化の結果「結局使うデータ」のみを処理する。爆速  ❖ すべての操作でサポートされているわけでない  ➢ Eager API、Lazy API、Streaming API における「この記述はできるけど、これはできない」みたいなやつはチョットわからない（アップデートでどんどん変わりそう）  

Lazy API が嬉しいケース 

Lazy API が嬉しいケース  ❖ Lazy API を使うことで顕著にパフォーマンス向上が見込めるケースについて johannyjm1 が確認しているのは以下  ➢
① Streaming API を利用している、かつ具体化されるデータ件数が元データより減っている場合   ➢ ②相当“無駄のある”クエリを書いちゃっているとき   ▪ しかし、一連の記述においては気づかないがち   ①クソデカ CSV 読み込み  ↓  先頭 100 行取得     Eager API: 693ms  Lazy API: 33ms  ②無駄クエリ      Eager API: 2.89s  Lazy API: 445ms 

Lazy API が嬉しいケース  ❖ というか Eager API も裏で普通に Lazy API
を呼んでいる  ❖ 余計なことしなくても全部 Eager API で良い日は来るかもしれない  それ以外はまちまち... Eager API も普通に速い 

Lazy API が嬉しいケース  Lazy API でしか書けない記述 ≒ 並列化などの最適化も受けやすい記述だと信じ  df.lazy() する習慣をつけるのはきっと良いこと　である 
しかし、この LT で一番言いたいこと 

まとめ 

まとめ  ❖ Polars はさまざまな理由で高速だが、今回は遅延評価に注目した  ➢ 遅延評価とは Python を普段書いてると意識しにくいが、案外身近な便利評価戦略である   ❖
Polars の遅延評価機能は Lazy API として非常にシンプルに導入できる  ➢ Lazy API の性能はそこそこだが、使ってるときっと良いことがある   ❖ 弁財天をお楽しみに！！！！！！！！！！！！！！！ 

EOF  Lazy API を感じられる Colab. を作成しました！  是非試してみてください！  （後ほど X でも投稿します） 

Polars と遅延評価

Polars と遅延評価

Transcript

More Decks by Yoshitaka Tomiyama

Featured