Polarsを使った爆速データ分析 / Blazing-Fast Data Analysis with Polars

2026年2月21日のPyCon mini Shizuoka 2026で発表した「Polarsを使った爆速データ分析」の講演資料です。
講演詳細についてはこちらを御覧ください（https://shizuoka.pycon.jp/2026/）

Transcript

1. Polarsを使った爆速データ分析 NTTドコモビジネス株式会社 更科 明
2. 自己紹介 更科　明
 2017
 2021
 2022
 現在 京都大学　理学研究科　数学・数理解析専攻　博士後期課程
 学振特別研究員(DC2) (2018~2020) 
 数学(数論幾何学)の研究を行う 経歴
 NTTデータの関連会社で機械学習系のPoCに従事 NTTドコモビジネスで時系列データの分析や
 ノーコード時系列データ分析ツール Node-AI を使った分析支援に従事
 趣味：筋トレ、ボルダリング

3. 今日伝えたいこと 1. データ分析とは何か？ 2. テーブルデータ分析Pythonパッケージ pandas, Polarsの紹介 3. 現時点でのベストプラクティス 4. デモ
4. データ分析とは？ データ分析では事前に仮説（目標）を設定し、データの加工や可視化、機械学習を含む統計的な手法 を用いて仮説の検証を行います。 似た用語でデータマイニングがありますが、データマイニングでは事前の目的や仮説を設定せず、 データから知見を得る事を目的とするという違いがあります。 [画像の引用元：宇宙統計ステーション NARUHODO(https://www.stat.go.jp/naruhodokids/graph/is-e5-static.html)、いらすとや ] データに基づいて アイスクリーム入荷量を決めたい アイスクリーム支出額と 気温のデータを分析 気温の予報を見て アイスクリーム入荷量を決めよう！ 関係性を可視化
5. データ分析の標準プロセス (CRISP-DM) データ分析の標準的なプロセスとして CRISP-DM (CRoss-Industry Standard Process for Data Mining) が広く知られています。 CRISP-DMでは以下の6つのフェーズを繰り返しながらデータ分析を進めます。 1. ビジネス理解 2. データ理解 3. データ準備 4. モデル作成 5. 評価 6. 共有・展開 最初に仮説を立てる必要がありますが、多くの場合にビジネスに詳しい人はデータ分析に詳しくなく、データ分析 に詳しい人はビジネスに詳しくないです。そのため、最初から最適な仮説を立てるのは難しく、仮説と検証を繰り返 しながら仮説自体をブラッシュアップしていく事になります。 [画像の引用元： Money Forward Developers Blog、CRISP-DMに沿ってデータ分析する (https://moneyforward-dev.jp/entry/2022/03/15/crisp-dm/)] ① ② ③ ④ ⑤ ⑥
6. データ分析では処理速度が重要 CRISP-DM の原論文（The CRISP-DM Model: The New Blueprint for Data Mining）によると、各 フェーズに必要な時間や労力の比重は一般的に以下のようになっています。 データの前処理を含む「データ準備」がボトルネックになっており、ここを高速化することでプロジェクト全 体の効率が大きく変わってきます。
7. pandas は2009年に公開されたパッケージで、テーブルデータ分析におけるデファクトスタンダードと なっています。 データの入出力や可視化、前処理（抽出、結合、集計など）といった機能を持ちます。 以下のようにメソッドチェーンを繋ぐ事で、読みやすく効率的なコードが書けます。 コードの例
8. 2021年に公開された新しいパッケージで、 pandas と同じようにテーブルデータ分析に特化しており、メ ソッドチェーンを繋いで書く点など UI も似ています。 最大の違いは処理速度で、現代のハードウェアが持つ性能を最大限発揮できるように設計されています。 （連続的にデータを読み込む事によるキャッシュのヒット率上昇や並列処理など） 詳細は公式サイトのブログ（ I wrote one of the fastest DataFrame libraries ）にて詳しく説明されていま す。 コードの例（Eager API）
9. それでもpandasを使う理由①（可視化） データ分析では可視化（探索的データ分析）も非常に重要で時間がかかる部分になります。 （CRISP-DMにおける「2. データ理解」） 処理速度において Polars に大きなメリットがある事は既に説明しましたが、 Polars はデータ処理に特 化しており、 pandas の plot メソッドのような可視化機能はありません。 短い行数で手軽に可視化できるのは非常に便利で、私は重宝しています。 可視化をするコードの例 実行結果
10. それでもpandasを使う理由②（連携） pandas を使うもう一つの理由は、統計関連（機械学習含む）の多くのパッケージ （ scikit-learn や LightGBM など）が pandas の DataFrame （テーブルデータを保持するクラス）をそのまま入力として受け 付ける事です。 データ分析における仮説の検証には統計学を用いるため、統計関連パッケージと手軽に連携できる事は大 きなメリットになります。（主に CRISP-DM における「4. モデル作成」） テーブルデータ（ CSV, xlslなど） ・・・ ・・・
11. 現時点でのベストプラクティス データの処理は Polars 、可視化や他パッケージとの連携は pandas という形で両者を併用する事が 現時点でのベストプラクティスだと思います。 pandas から Polars への変換は .pipe(pl.from_pandas) で、Polars から pandasへの変換は .to_pandas() で可能であるため、メソッドチェーンの中に両者のメソッドを共存させる事ができます。 pandasとPolarsを併用するコードの例
12. まとめ データ分析ではビジネス的な検討と技術的な検討を並行して進めるため、個々の技術的な検討を早く 進める事が求められます。 pandas を使う事でデータ分析で必要な様々な処理が可能ですが、処理に時間がかかってしまう場面 もあります。 時間がかかる処理を Polars に任せる事でストレス無くデータ分析を進められます。 でサポート で高速化 CRISP-DMにおけるフェーズ
13. デモ 残りの時間で簡単なデモをお見せしたいと思います。 Polars はハードウェアの性能を最大限引き出せるように設計されているため、コンピュータの性能が 高いほど pandas との差が大きくなります。（ CPU のコア数など） 最初は無料版 Google Colab でデモを作成しようと思ったのですが、無料版 Google Colab では2コ アで実行されるらしく、思ったよりも差が出なかったため、ローカル PC (14コア) でデモをお見せしたい と思います。 vs.
14. [補足] デモで使用したコードと出力結果 ① ②
15. [補足] デモで使用したコードと出力結果 （※デモで使用した CSVファイルは手元で生成したものになります。） ③ ④ コードは次スライドに 続きます
16. [補足] デモで使用したコードと出力結果 ⑤