Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Pythonエンジニアになるためのテクニカルハイライトと学習方法
Search
Manabu TERADA
December 20, 2023
Technology
0
79
Pythonエンジニアになるためのテクニカルハイライトと学習方法
「Pythonとデータ分析で初学者から中級者になるためのセミナー」
2023年12月20 日
Python EDイベント
Manabu TERADA
December 20, 2023
Tweet
Share
More Decks by Manabu TERADA
See All by Manabu TERADA
Python Web UIフレームワークのススメ
terapyon
0
670
LLMを用いたPloneベクター検索 アドオンの開発の説明
terapyon
0
62
PyCon APACの軌跡
terapyon
0
1.5k
Multi lingual Vector search using LLM
terapyon
1
73
メモリプロファイラMemrayのススメ
terapyon
3
950
PoC for LLM search on Plone
terapyon
1
85
LLMを用いたPloneベクター検索 アドオンの開発状況の紹介
terapyon
0
94
オープンセミナー香川 Pythonの現状・データ分析・LLM
terapyon
0
550
コミュニティのつながりとPython @ DERTA GIG vol.3
terapyon
0
100
Other Decks in Technology
See All in Technology
中規模・ミドルTier開発組織におけるDevRelの戦略と実行と成果 - DevRel Guild Conference Mini -
leveragestech
2
260
開発者体験を意識した開発チームの生産性向上の取り組み
ham0215
3
650
HolidayJp.jl を作りました
mrkn
0
110
AWS IAM Identity Center議論会 〜 認証認可結合モデルと認証認可分離モデル / 20240827-jawsug-arch-iam_identity_center
opelab
3
320
音声AIエージェントの世界とRetell AI入門 / Introduction to the World of Voice AI Agents and Retell AI
rkaga
3
470
Dojo 20240830 COBOL to Java on Z
ichikawayasuhisa
0
240
Dify - LINE Bot連携 考え方と実用テクニック
uezo
5
1.1k
エンジニア採用を起点に取り組む組織の改善活動と課題、中長期のタスク管理/ #HRmethod
nishiuma
4
3.3k
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
4
640
実践的なバグバウンティ入門
scgajge12
4
2.1k
PlaywrightによるE2Eテスト入門 / Introduction to E2E Testing with Playwright
rhumie
3
910
20240906_JAWS_Yamanashi_#1_leap_beyond_the_AWS_all_certifications
tsumita
1
100
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
125
16k
The Straight Up "How To Draw Better" Workshop
denniskardys
230
130k
The Cost Of JavaScript in 2023
addyosmani
39
5.1k
RailsConf 2023
tenderlove
26
790
4 Signs Your Business is Dying
shpigford
179
21k
Happy Clients
brianwarren
96
6.6k
How To Stay Up To Date on Web Technology
chriscoyier
785
250k
Gamification - CAS2011
davidbonilla
79
4.9k
Raft: Consensus for Rubyists
vanstee
135
6.5k
YesSQL, Process and Tooling at Scale
rocio
167
14k
Designing for humans not robots
tammielis
248
25k
The Invisible Side of Design
smashingmag
295
50k
Transcript
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Pythonエンジニアになるためのテクニ カルハイライトと学習方法 ─Pythonを業務で使ってみよう─
一般社団法人Pythonエンジニア育成推進協会 顧問理事 寺田 学 「Pythonとデータ分析で初学者から中級者になるためのセミナー」 2023年12月20 日
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 自己紹介 寺田 学
(Manabu TERADA) • Pythonエンジニア • Podcast 「terapyon channel」(https://podcast.terapyon.net) • 主な関連書籍(共著・監修・監訳) ◦ Pythonデータ分析 実践ハンドブック(2023年,インプレス,共著) ◦ Pythonによるあたらしいデータ分析の教科書 第2版 (2022年,翔泳社,共著) ◦ Python実践レシピ(2022年,技術評論社,共著) ◦ Python FlaskによるWebアプリ開発入門 物体検知アプリ&機械学習APIの作り方 (2022年,翔泳社, 監修)
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 所属組織 • 一般社団法人Pythonエンジニア育成推進協会顧問理事
• 一般社団法人PyCon JP Association理事 • 株式会社 CMSコミュニケーションズ 代表取締役 • Python Software Foundation Fellow • Plone Foundation Ambassador
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Python技術支援のコンサルサービス (株)CMSコミュニケーションズのサービス
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 講演の流れ • Pythonバージョンの現状
• バージョンアップで取り組んでいること • 用途別定番ライブラリ • ライブラリの具体的な利用シーン • 初学者からアプリ実装ができるようになるには
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Pythonバージョンの現状
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Pythonバージョン(2023年12月) Python3.12 •
Python 3.10以降を採用することが多い • 最新のPython3.11はようやく使い始めている
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Pythonのバージョンとサポート期間 年1回リリース&5年サポート https://devguide.python.org/versions/
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. バージョン間の互換性 基本的な互換性はある •
互換性は基本的に保たれている • キーワード(予約語)追加がたまにある • 内部APIの変更はある • サードパーティ製パッケージの対応は別
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 環境構築とサードパーティ製パッケージ 方法はさまざまだが、公式をなるべく使う •
公式インストーラーがオススメ • venv + pip でほとんど可能 • 公式dockerを使うことも増えている • wheel化されたパッケージも多い
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. バージョンアップで取り組んでいること
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. バージョンアップで取り組んでいる(1) • スピードアップ
• Python 3.11から取り組んでいる • 条件によっては1.5倍早くなっている • 今後も内部実装を見直し、スピードアップに期待 • GIL関係のリファクタリング
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. バージョンアップで取り組んでいる(2) • よりコーディングしやすく
• エラーメッセージが分かりやすくなっている • 型ヒントなどで安全なコーディングができるようになる
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 1
インストーラー・パッケージインストール • Python公式インストーラー • Dockerイメージ • venv + pip
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 2
データ分析や科学技術計算 • データ型やデータ分析ツール NumPy / pandas • 科学技術計算 SciPy • 可視化ツール Matplotlib / Plotly • 機械学習ツールキット scikit-learn • ディープラーニング TensorFlow / PyTorch
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 3
Webシステム • Webフレームワーク Django / Flask / FastAPI • UIフレームワーク(データ分析可視化) Streamlit / Gradio • O/Rマッパー SQLAlchemy
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 4
ツール系 • Excel操作 openpyxl • HTMLスクレイピング BeautifulSoup4 • AWS操作 awscli / boto3
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 用途別定番ライブラリ ─ 5
開発系 • Webブラウザから実行 JupyterLab • 型チェック mypy • 静的リンター Flake8 → Ruff • コードフォーマッター black → Ruff
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. ライブラリの具体的な利用シーン
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 1
ログの分析をPythonで行う • ログファイルをPythonのopen関数で読み込む • 1行の中身を分割して、リストのリストを作る • pandasで読み込み • 必要な情報だけを抽出 • 可視化やExcelファイルに書き出し • 機械学習などを用いて、異常検知
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 1
ログの分析で使うライブラリ • 日付操作 標準ライブラリ datetime • データ分析 pandas • データ出力 openpyxl • 可視化 Matplotlib • 機械学習 scikit-learn
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 2
定期的にCSVファイルを取得してデータ登録 • CSVファイルを取得 • データを確認してDBにデータ登録 • 完了時にメールを送信する • エラー時はアラートを送信する
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 2
CSVファイルからデータ登録で使うライブラリ • CSVファイル 標準ライブラリ csv • DBへの登録 SQLAlchemy • メール送信 標準ライブラリ smtplib
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 3
データ分析のPoCを試してみたい • JupyterLabで実験的に試行錯誤 • データ加工 • データの評価 • 各種Webサイトから情報取得 • 結果をWebページにする
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 具体的な利用シーン ─ 3
データ分析のPoCで使うライブラリ • JupyterLab • データ加工 pandas / NumPy • データの評価 NumPy / Matplotlib / Plotry • 各種Webサイトから情報取得 BeautifulSoup4 • Webページを作るなら Streamlit
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 初学者からアプリ実装ができるようになるに は
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 機能分割 まずは、機能を分割していこう •
アプリが実現したいことを機能分割 • 例えば ◦ データを読み込む ◦ データを加工する ◦ 画面に表示する • なるべく細かく分割する
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 機能ごとに実装 分割された機能の役割を実装する •
機能ごとに「入力」と「出力」を決める • 入力に対して、処理をコーディングする • 出力をする or データ保存などを行う • 入力をパラメータで渡さなくても良い • まずは、一つずつ機能を作る
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 機能を繋げる 機能を繋げて、アプリとしての動きを実現 •
機能を繋げて、一連の動きにする • 何かしらのキッカケで動作するようにする • キッカケの例 ◦ クリックする ◦ スクリプトの手動起動 ◦ Webリクエスト
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 動作環境の整備 どこで、どのように動作させるかを決め、環境整備 •
動作環境を決める • 例 ◦ 独自サーバー ◦ 手元のPC ◦ サーバーレス環境 ◦ Webブラウザ • Pythonが動作する環境を作る
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. アプリ実装のまとめ 一つずつ確実に! •
機能分割 • 機能ごとに実装 • 機能を繋げる • 動作環境の整備
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. ご清聴 ありがとうございました。
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. 師匠 or 仲間を見つけよう
ひとりで勉強するには限界がある • 師匠を見つけよう • 仲間を見つけよう • 一緒に勉強し切磋琢磨できるとよい • 自分のやっていることに自信が持てる • カンファレンスや勉強会に積極的に参加
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. PyCon APAC 2023
約700人規模の現地イベント • https://2023.pycon.jp/ • 日程: 10/26(金)〜28(日) 開催済み • 2024も秋にPyCon JP開催予定 • 当協会はGoldスポンサー
copyright © 2023 一般社団法人Pythonエンジニア育成推進協会 all rights reserved. Q&A