Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
5年分のツケを一気に払った話
Search
Soogie
September 26, 2024
Programming
3
2.2k
5年分のツケを一気に払った話
Talk at PyConJP2024, 2024/09/27
Soogie
September 26, 2024
Tweet
Share
More Decks by Soogie
See All by Soogie
PyHack#141今日やったこと
soogie
0
510
レビュー駆動学習のススメ_StaPy#83
soogie
0
560
職場にPythonistaを増やす方法
soogie
2
710
StaPyの効能
soogie
0
570
Stapy#25_LT
soogie
1
820
無料でできる,Cloud9上で開発してHerokuにデプロイする手順を共有します(再)
soogie
0
1k
無料でできる、Cloud9上で開発してHerokuにデプロイする手順を共有します
soogie
2
2k
Develop on Cloud9 & Deploy to Heroku for FREE!!
soogie
0
110
Other Decks in Programming
See All in Programming
初学者でも今すぐできる、Claude Codeの生産性を10倍上げるTips
s4yuba
16
13k
レベル1の開発生産性向上に取り組む − 日々の作業の効率化・自動化を通じた改善活動
kesoji
0
300
Advanced Micro Frontends: Multi Version/ Framework Scenarios @WAD 2025, Berlin
manfredsteyer
PRO
0
390
イベントストーミング図からコードへの変換手順 / Procedure for Converting Event Storming Diagrams to Code
nrslib
2
1.1k
ふつうの技術スタックでアート作品を作ってみる
akira888
1
1.3k
明示と暗黙 ー PHPとGoの インターフェイスの違いを知る
shimabox
2
620
LT 2025-06-30: プロダクトエンジニアの役割
yamamotok
0
870
ソフトウェア設計とAI技術の活用
masuda220
PRO
17
3.5k
GPUを計算資源として使おう!
primenumber
1
250
20250708_JAWS_opscdk
takuyay0ne
2
130
React は次の10年を生き残れるか:3つのトレンドから考える
oukayuka
7
2.4k
チームで開発し事業を加速するための"良い"設計の考え方 @ サポーターズCoLab 2025-07-08
agatan
1
470
Featured
See All Featured
How to Think Like a Performance Engineer
csswizardry
25
1.7k
Side Projects
sachag
455
42k
How GitHub (no longer) Works
holman
314
140k
Balancing Empowerment & Direction
lara
1
450
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
10
970
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Making Projects Easy
brettharned
116
6.3k
Building Flexible Design Systems
yeseniaperezcruz
328
39k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Transcript
5 年 分 の ツ ケ を 一 気 に
払 っ た 話 Takeshi Sugiyama a.k.a. soogie(すーぎー) 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 1 https://x.gd/TOkaP
お 前 誰 よ ? • 事務系サラリーマン(1988~) • プログラミングは趣味&独学 BASIC(1977~)VBA(1995~)R(2014~)
※C,TurboPascalもちょっと • Python(2014~) みんなのPython勉強会(2015~) 何度か登壇、LT PyConJP2016、2018、2021登壇 Python Boot Camp TA × 5回 Python関連書籍の出版前レビュー× 20冊+ 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 2
ト ー ク内 容 話すこと • Python3.6→Python3.11での苦労話 • 3rdパーティパッケージのVer Upに伴う諸問題
話さないこと • 技術的負債をため込まない上手なやり方
背 景 • 現状問題なく動いているシステムをいじりますか? • PythonやパッケージがVer Upしただけで修正 しますか? • 非エンジニア組織で、他人が書いた現状問題なく
動いている業務アプリをいじる勇気ありますか? 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 4
た ま っ て い く ツ ケ 5 年
分 の ツ ケ を 一 気 に 払 っ た 話 5 Pythonは毎年新しいバージョンがリリースされていく サードパーティパッケージも日々バージョンが上がっていく たまに機能追加しようとするとネットで調べたコードがPython3.6では動かない
た ま っ て い く ツ ケ 5 年
分 の ツ ケ を 一 気 に 払 っ た 話 6 Pythonは毎年新しいバージョンがリリースされていく サードパーティパッケージも日々バージョンが上がっていく たまに機能追加しようとするとネットで調べたコードがPython3.6では動かない 仕事はアプリのメンテではなくアプリを使うこと 気にはなるけど、新しい機能を使わなければ困らない
何もしない人には過失はない。しかし何もしないことほど 大きな過失が人生にあろうとは思えない。 下村湖人(教育家・小説家、1873ー1930) “ ” 5 年 分 の ツ
ケ を 一 気 に 払 っ た 話 7
業 務 系 機 械 学 習 We b ア
プ リ 「 X 」 ( 仮 名 ) 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 8 • 5年前に開発され、4年前に引き継ぎ • 「ドキュメントなし」「テストコードなし」「書いた本人たちは退職・異動」の3重苦 • ドキュメントを作った話はPyConJP2021のアーカイブをご覧ください • その後テストも書いたし後輩にソースコードレベルでレクチャもしてきた
X ( 仮 名 ) の 仕 組 み 5
年 分 の ツ ケ を 一 気 に 払 っ た 話 9
発 生 し た 5 つ の 問 題 5
年 分 の ツ ケ を 一 気 に 払 っ た 話 10 ホントはもっといろいろあったけど今日は割愛
問 題 1 : フ ァ イ ル ア ッ
プ ロ ー ド で 落 ち る 現象:学習用データをアップロードしようとすると落ちる 発生個所:pandas.DataFrame.to_dict(orient="record") 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 11
問 題 1 : フ ァ イ ル ア ッ
プ ロ ー ド で 落 ち る 現象:学習用データをアップロードしようとすると落ちる 発生個所:pandas.DataFrame.to_dict(orient="record") 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 12
問 題 1 : フ ァ イ ル ア ッ
プ ロ ー ド で 落 ち る 現象:学習用データをアップロードしようとすると落ちる 発生個所:pandas.DataFrame.to_dict(orient="record") ポイント:正しくは「"records"」 。単なるtypoだけどなぜ今まで動いていた? ソースコードを読む 対応:typoを修正 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 13 【pandas1.4】 pandas.core.frame.py elif orient.startswith("r"): orient = "records" 【 pandas2.2 】 pandas.core.methods.to_dict.py orient = orient.lower()
問 題 2 : 機 械 学 習 で 落
ち る 現象:ロジスティック回帰でLASSOを使うと落ちる(他いろいろ) 発生個所:sklearn.linear_model.LogisticRegression(penalty="l1") 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 14
問 題 2 : 機 械 学 習 で 落
ち る 現象:ロジスティック回帰でLASSOを使うと落ちる(他いろいろ) 発生個所:sklearn.linear_model.LogisticRegression(penalty="l1") 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 15
問 題 2 : 機 械 学 習 で 落
ち る 現象:ロジスティック回帰でLASSOを使うと落ちる(他いろいろ) 発生個所:sklearn.linear_model.LogisticRegression(penalty="l1") 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 16
問 題 2 : 機 械 学 習 で 落
ち る 現象:ロジスティック回帰でLASSOを使うと落ちる(他いろいろ) 発生個所:sklearn.linear_model.LogisticRegression(penalty="l1") 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 17
問 題 2 : 機 械 学 習 で 落
ち る 現象:ロジスティック回帰でLASSOを使うと落ちる(他いろいろ) 発生個所:sklearn.linear_model.LogisticRegression(penalty="l1") 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 18
問 題 2 : 機 械 学 習 で 落
ち る 現象:ロジスティック回帰でLASSOを使うと落ちる(他いろいろ) 発生個所:sklearn.linear_model.LogisticRegression(penalty="l1") ポイント:LogisticRegressionのsolverパラメータのデフォルト値が"liblinear"から 0.22以降はL1ペナルティに対応していない"lbfgs"に変わった 公式ドキュメントを読む 対応:solver='liblinear'を明示的に追加 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 19
問 題 3 : 結 果 を 格 納 す
る と き に 落 ち る 現象:機械学習後にMongoDBに結果が保存されず落ちる 発生個所:pymongo.collection.save() 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 20
問 題 3 : 結 果 を 格 納 す
る と き に 落 ち る 現象:機械学習後にMongoDBに結果が保存されず落ちる 発生個所:pymongo.collection.save() 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 21
問 題 3 : 結 果 を 格 納 す
る と き に 落 ち る 現象:機械学習後にMongoDBに結果が保存されず落ちる 発生個所:pymongo.collection.save() 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 22
問 題 3 : 結 果 を 格 納 す
る と き に 落 ち る 現象:機械学習後にMongoDBに結果が保存されず落ちる 発生個所:pymongo.collection.save() 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 23
問 題 3 : 結 果 を 格 納 す
る と き に 落 ち る 現象:機械学習後にMongoDBに結果が保存されず落ちる 発生個所:pymongo.collection.save() 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 24
問 題 3 : 結 果 を 格 納 す
る と き に 落 ち る 現象:機械学習後にMongoDBに結果が保存されず落ちる 発生個所:pymongo.collection.save() ポイント:MongoDB4.2以降はdb.collection.save()というAPIがなくなった 公式ドキュメントの変遷を現行のVer7からさかのぼる MongoDB4.1まで:save()だけで新規か更新かはいい感じに判断 MongoDB4.2以降:新規なのか更新なのか明示的に指定が必要 対応:やりたい内容に応じてinsert_one()とreplace_one()を使い分け 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 25
問 題 4 : B o r u t a
オ プ シ ョ ン で 落 ち る 現象:特徴量選択手法でBorutaをオプション指定すると落ちる 発生個所:boruta.BorutaPy() 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 26
問 題 4 : B o r u t a
オ プ シ ョ ン で 落 ち る 現象:特徴量選択手法でBorutaをオプション指定すると落ちる 発生個所:boruta.BorutaPy() 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 27
問 題 4 : B o r u t a
オ プ シ ョ ン で 落 ち る 現象:特徴量選択手法でBorutaをオプション指定すると落ちる 発生個所:boruta.BorutaPy() ..../site_packages/boruta/boruta_py.py 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 28
問 題 4 : B o r u t a
オ プ シ ョ ン で 落 ち る 現象:特徴量選択手法でBorutaをオプション指定すると落ちる 発生個所:boruta.BorutaPy() ポイント:borutaがNumPy1.20で廃止されたnp.int等を使っている PyPI上は2019年のVer0.3のまま。作者のGitHubではパッチが当たっている ※2024/8/14にPyPI上のborutaが0.4.3になり今は解消&scikit-learn1.5.1に包含 対応:boruta_py.pyにパッチ当て(np.を取る) 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 29
問 題 5 : 作 成 済 み モ デ
ル を 呼 び 出 す と 落 ち る 現象:旧バージョンで作成したモデルを呼び出すと落ちる 発生個所:pandas.read_pickle() 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 30
問 題 5 : 作 成 済 み モ デ
ル を 呼 び 出 す と 落 ち る 現象:旧バージョンで作成したモデルを呼び出すと落ちる 発生個所:pandas.read_pickle() ポイント:モデルはscikit-learnのオブジェクト。scikit-learnのバージョン違いにより オブジェクトの内部構造(メソッドやプロパティ)が変わり 古いバージョンのオブジェクトのpickleを新バージョンで読み込むことができない 対応:プログラム的には打つ手なし。どうする? 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 31
3 つ の 対 応 案 5 年 分 の
ツ ケ を 一 気 に 払 っ た 話 32 新 旧 工数大 工数小 問題を先送りし ツケをため込み続ける
3 つ の 対 応 案 5 年 分 の
ツ ケ を 一 気 に 払 っ た 話 33 新 旧 工数大 工数小 問題を先送りし ツケをため込み続ける 5年分の作成済みモデ ルを新バージョンですべて 作り直して再保存
3 つ の 対 応 案 5 年 分 の
ツ ケ を 一 気 に 払 っ た 話 34 新 旧 工数大 工数小 旧バージョンで作成した モデルを読み込めないこ とを許容 問題を先送りし ツケをため込み続ける 5年分の作成済みモデ ルを新バージョンですべて 作り直して再保存
対 応 方 針 決 定 5 年 分 の
ツ ケ を 一 気 に 払 っ た 話 35 新 旧 工数大 工数小 旧バージョンで作成した モデルを読み込めないこ とを許容 万一に備えたX Classic X Classic
め で た し 、め で た し ⚫ いろいろあったけど、X(仮名)は新しい環境でリリース完了
⚫ 5年分のツケを一気に清算して(一部踏み倒したけど)めでたし、めでたし 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 36
め で た し 、め で た し ? ⚫
いろいろあったけど、X(仮名)は新しい環境でリリース完了 ⚫ 5年分のツケを一気に清算して(一部踏み倒したけど)めでたし、めでたし ⚫ 2024年5月、scikit-learn1.5(boruta0.4.3含む)リリース ⚫ 2024年6月、NumPyが18年ぶりのメジャーアップデートで2.0に ⚫ MicrosoftからTeamsのincoming webhook機能廃止の告知 5 年 分 の ツ ケ を 一 気 に 払 っ た 話 37
ま と め 5 年 分 の ツ ケ を
一 気 に 払 っ た 話 38 一番の教訓は「ツケはため込まないのが一番」 ドキュメント、テストの整備は前提 常に最新化といかないまでも大きなバージョンアップの際 には新しいバージョンでの動作確認はしておきたい (NumPy2.0とか) レガシーコード化させないためのテストコードの書き方は 午後にいいトークがあります
Enjoy! Enjoy!