Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AMA (Ask me anything) 『Kaggleに挑む深層学習プログラミングの極意』 / Ask me anything
Search
Shotaro Ishihara
March 22, 2023
Technology
0
250
AMA (Ask me anything) 『Kaggleに挑む深層学習プログラミングの極意』 / Ask me anything
3 月 22 日「W&B 東京ミートアップ #2」での発表資料です
https://wandb.connpass.com/event/275849/
Shotaro Ishihara
March 22, 2023
Tweet
Share
More Decks by Shotaro Ishihara
See All by Shotaro Ishihara
「極意本」サンプルコードをクラウド上で動かそう
upura
1
1.8k
論文紹介: Generating News-Centric Crossword Puzzles As A Constraint Satisfaction and Optimization Problem
upura
0
170
関東 Kaggler 会スポンサー資料
upura
0
1.4k
論文紹介 Quantifying attention via dwell time and engagement in a social media browsing environment / web-socialmedia-study-8th
upura
0
180
Quantifying Diachronic Language Change via Word Embeddings: Analysis of Social Events using 11 Years News Articles in Japanese and English
upura
1
350
Training Data Extraction From Pre-trained Language Models: A Survey
upura
0
190
論文紹介 Discovering and Categorising Language Biases in Reddit / web-socialmedia-study-5th
upura
0
280
著者による書籍紹介『Kaggleに挑む深層学習プログラミングの極意』
upura
2
2k
Analysis and Estimation of News Article Reading Time with Multimodal Machine Learning
upura
1
390
Other Decks in Technology
See All in Technology
プロンプトエンジニアリングでがんばらない-Agentic Workflow へ-近藤憲児
kenjikondobai
6
1.2k
Google Cloud Next '24でブログを10本書いた方法と勉強会を沸かせた方法
yasumuusan
0
330
【NW X Security JAWS#3】L3-4:AWS環境のIPv6移行に向けて知っておきたいこと
shotashiratori
1
610
Microsoft Intune 勉強会 第 2 回目
tamaiyutaro
2
370
本当のAWS基礎
toru_kubota
1
620
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.3k
ルーターでプレゼンする
puhitaku
1
3.2k
障害対応をちょっとずつよくしていくための 演習の作りかた
heleeen
1
1.6k
生産性向上チームの紹介
cybozuinsideout
PRO
1
910
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
5
690
Android Target SDK 35 (Android 15) 対応の概要
akkie76
0
150
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
260
Featured
See All Featured
How to Ace a Technical Interview
jacobian
273
22k
Docker and Python
trallard
35
2.7k
Bash Introduction
62gerente
605
210k
Producing Creativity
orderedlist
PRO
338
39k
The Language of Interfaces
destraynor
151
23k
How to train your dragon (web standard)
notwaldorf
74
5.2k
Building Adaptive Systems
keathley
32
1.9k
Building Effective Engineering Teams - LeadDev
addyosmani
32
1.9k
Faster Mobile Websites
deanohume
300
30k
Building Better People: How to give real-time feedback that sticks.
wjessup
356
18k
Thoughts on Productivity
jonyablonski
59
3.9k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
Transcript
W&B 東京ミートアップ #2 2023 年 3 月 22 日 小嵜
耕平、秋葉 拓哉、林 孝紀、◯石原 祥太郎 AMA (Ask me anything) 『Kaggleに挑む深層学習 プログラミングの極意』
2 • 1 月 31 日に紙版の発売開始 • 現時点で 4 刷が決定
• 電子版も販売予定
3 • 書籍ページ(講談社・Amazon) • 付録コード・正誤表・脚注(GitHub) • 著者の紹介記事(秋葉さん・石原) • 書評(からあげさん・TJO さん・Maxwellさん
・nikkie さん) • Twitter 評判「Kaggle 極意」「Kaggle 本」 リンク集
4 • なぜ Kaggle x 深層学習(極意本)? • 本書の目次と担当 • 本書の特徴と補完資料
本日の目次
5 • Kaggle の入門としてタイタニック号を題材にした コンテストが有名 • 扱うのは、テーブル形式 のデータセット(右図) • サイズは総計で
93.08 kB https://www.kaggle.com/c/titanic Kaggle のイメージ => Titanic ?
6 ※ Amazon で、レビュー数が上位の 2 冊 • 『Kaggle で勝つデータ分析の技術』 (技術評論社、2019
年) • 『Python ではじめる Kaggle スタートブック』 (講談社、2020 年) これまでの「Kaggle 本」はテーブル形式 のデータセットを扱う例が有名
7 データセットの種類別の推移 Kaggle 公開のデータセット 「Meta Kaggle」から作成 したデータセットの種類別 のコンテスト数の推移 (2023 年
1 月時点で終了 したコンテストまでを対象 に集計)
8 • 画像やテキストを題材にしたコンテストが増加 • アルゴリズムも、勾配ブースティング決定木から ニューラルネットワーク(深層学習)に • データセットのサイズも巨大化 ◦ Happywhale
- Whale and Dolphin Identification: 62.06 GB ◦ American Express - Default Prediction: 50.31 GB ◦ H&M Personalized Fashion Recommendations: 34.56 GB 深層学習の利用が一般的に
9 • 画像・自然言語処理の機械学習コンテストを題材 に深層学習ライブラリ「PyTorch」の実装を交え、 著者らの経験に基づく知見をまとめた書籍 • 第 1-2 章で基礎知識を学び、第 3-5
章で具体的な 機械学習コンテストに挑戦していく構成 『Kaggle に挑む深層学習プログラミング の極意』(講談社)
10 目次 https://www.kspub.co.jp/book/detail/5305133.html • 第 1 章: 機械学習コンテストの基礎知識 • 第
2 章: 探索的データ分析とモデルの作成・検証・ 性能向上 • 第 3 章: 画像分類入門 • 第 4 章: 画像検索入門 • 第 5 章: テキスト分類入門
11 • 石原(第 1-2 章): Kaggle Master • 秋葉(第 3
章): Kaggle Grandmaster • 小嵜(第 4 章): Kaggle Grandmaster • 林(第 5 章): Kaggle Master • 書籍は有識者 5 名にレビューしていただいた (まえがき参照) 著者紹介
12 • 主要な対象読者は、画像や自然言語処理を題材と した機械学習コンテストに参加する方 • 著者らの経験を基に、一般的な書籍にはあまり書 かれていない暗黙知や技法も含めてまとめている • より広く「Kaggle でない実世界の課題を深層学習
で解決するといった場面でも役立つ」 https://karaage.hatenadiary.jp/entry/2023/02/06/073000 特徴①予測性能を高める実践的な知見
13 • 第 2 章: 手戻りが少なくなるような実験方法 • 第 3 章:
学習終盤に強いデータ拡張をやめる • 第 4 章: ArcFace のハイパーパラメータの勘所 • 第 5 章: 長さが近いテキストをまとめたミニバッチ 実践的な知見の例(抜粋)
14 • 本体は 224 ページと比較的コンパクト • サンプルコードは必要最低限の関数のみを掲載し て読みやすくし、全体は GitHub へ
• 参考文献(ウェブサイト・論文など)は 287 件 • カラー本で図表も多め 特徴②凝縮した内容 + 付録・参考文献
15 データサイズも大きく、泥臭い処理も含めて掲載 • 第 3 章: 犬猫の画像分類 ◦ 多くの画像認識タスクに拡張可能 •
第 4 章: 著名な Google Landmark Retrieval • 第 5 章: 質問文の類似判定 ◦ 多くの自然言語処理タスクに拡張可能 特徴③実際のコンテストを題材に
16 • 『Python ではじめる Kaggle スタートブック』 (講談社、2020 年) • 『Kaggle
で勝つデータ分析の技術』 (技術評論社、2019 年) • 『統計的学習の基礎』(共立出版) 補完① Kaggle 全般やテーブル形式の データセットを扱う方法
17 • 『Kaggle Grandmasterに学ぶ 機械学習 実践アプローチ』 (マイナビ出版) • 『深層学習 改訂第2版』(講談社)
• 『画像認識』(講談社) • 『Vision Transformer入門』(技術評論社) • 『深層学習による自然言語処理』(講談社) • 『IT Text 自然言語処理の基礎』(オーム社) 補完②深層学習や画像認識・自然言語処理
18 • 開発ツールの説明は必要最小限にとどめている • 公式ドキュメントやチュートリアルなどを必要に 応じて参照 ◦ https://docs.docker.com/ ◦ https://yutaroogawa.github.io/pytorch_tuto
rials_jp/ 補完③ Docker や PyTorch
お気軽にご質問ください AMA (Ask me anything) 『Kaggleに挑む深層学習 プログラミングの極意』