polarsの日本向けpluginを作ってる話（Polars Data Crunch #4）

Polars Data Crunch #4 (https://connpass.com/event/352216/edit/ ) で発表した内容です。

- Github: https://github.com/tanaka-jin/polars-japanese
- Docs: https://polars-japanese.readthedocs.io/ja/latest/
- pypi: https://pypi.org/project/polars-japanese/

Transcript

1. polarsの日本向けpluginを作ってる話 2025-05-10 @_jinta
2. - なまえ：たなかじん（_jinta） - しょくぎょう：でーたさいえんてぃすと - polars-jaでのやくわり：きがむいたらLT会をひらく - すきならいぶらり：polars, pyfixest - すきなけいざいがくしゃ：David Deming - さいきんはまったこと：たいぷろ じこしょうかい
3. つくったもの: polars-japanese 日本の人が使いたくなる処理を まとめた拡張機能 - 日本語処理（全半角やS-JIS出力） - 和暦変換 - 祝日判定 など GitHub, Docs, PyPI
4. - 機能・使い方 - 作った際のよもやま話 - 今後やりたいこと おはなしすること
5. つかいかた 1. インストール： pip install polars-japanese 2. インポート： import polars_japanese 3. つかう： ja アクセサを使用 ◦ df.select(pl.col(“出生日”).ja.to_datetime()) ◦ df.ja.to_csv("output.csv", encoding="shift_jis")
6. 機能① 全角・半角変換 - to_half_width(), to_full_width() - Rustのmojimoji-rsをwrapしている - normalize() - polars.str.normalizeによるNFKC正規化に加えて、jaconvでやってる処理を 行う
7. 機能② 和暦変換 - to_datetime(format='%-K%-y年%m月%d日', raise_error=True) - to_wareki(format='%-K%-Y年%m月%d日', raise_error=True) - japaneraをwrapしたもの - formatなどはjapaneraに準拠（というか内部的にはjapanera呼び出してい るだけなのでそのまま引数として渡している） - %-K で和暦（昭和、令和）、%-E でローマ字の和暦（Showa, Reiwa） - 存在しない和暦が指定されている場合にエラーを吐くか欠損にするかを raise_errorで指定
8. 機能③ 漢数字変換、④ 祝日判定 - to_kanji(config=None) - to_number() - kanjizeをwrapしたもの - 漢字表記の仕方はkanjizeのconfigに準拠（内部的にkanjize呼び出している だけなのでそのまま引数として渡している） - 二〇〇〇/二千/2千、〇/零など - is_holiday() - is_business_day() - jpholidayをwrapしたもの
9. 技術的な背景1: namespace - register_expr_namespace, register_dataframe_namespace - method(arg: Expr) -> Expr を登録するようなイメージ - 多くは既存ライブラリをwrapしてmap_elements使っているだけ
10. 技術的な背景2: plugin - register_plugin_function - Rustで実装したものをpythonから呼び出せるようにする（こっちも既存の crate使ってるだけだが） - GuideやTutorialはあるが、あまりリッチではない印象。正しい書き方でき ている自信はあまりない
11. 技術的な背景3: おまけ - vibe coding - gemini2.5やGPT4oなどを使っていたが、pandasと間違える類のエラーは何一つ起きず - ただ、version古いコードを書いたり、map_elements使いすぎだったり - また、maturinまわりの処理はかなり不得意っぽかったので自分で書いた - CIやDocsなどは非常に助かった - maturin - Rustも含むpython libraryのbuildはこれを使うのが主流っぽい - cookiecutter - この前polars-plugin用のものがあるのを見つけた - コメント - あえて日本語で書くよう統一
12. 参考になったページ - [Polars plugins tutorial](https://marcogorelli.github.io/polars-plugins-tutorial/) - [Plugins - Polars user guide](https://docs.pola.rs/user-guide/plugins/) - [Polars Expression Plugins](https://zenn.dev/uchiiii/articles/2466719bfe2ec5) - [polarsのudfとかpluginとか触ってみた - Speaker Deck](https://speakerdeck.com/t88/polarsnoudftokaplugintokahong-tutemita)
13. これからやりたいこと - 日本語に関する処理 - 形態素解析、曜日の日本語表記など - 日時系の処理 - JSTへの変換など - 都道府県・市区町村に関する処理 - 地方公共団体コード変換、地方への置換など - 地図に関する処理 - ジオコーディング、地図描写など - polarsでの地理データの扱いがもう少しメジャーになってから…？ などなど 近日公開！
14. おねがい 1. こんな機能も欲しい、使ってみてのFBなど、ご意見お待ちしております - 今日のアンケートへの回答で - polars-jaのdiscordで - あるいはGitHubのissueなどでも 2. もし興味ある人いれば、ぜひ一緒に開発しましょう！ - 開発経験などは不問です！わたしも素人なので、固いルールは一切ないです - 一緒に試行錯誤してくれる人を募集します - polars-jaのdiscordで声かけてください
15. Ｔｈａｎｋ　ｙｏｕ！
16. 匿名アンケートへのご協力お願いいたします • （昨日メールでもお送りしています ／connpassページにも記載しています） • 必須項目は選択式３問だけなので、1分あ れば回答頂けます • 本日のイベントの感想や、polars-jaへの ご意見などもぜひお聞かせください！ Polars Data Crunch #4