Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
日本初の競技機械学習大会 Cpaw AI Competition の運営 / About Cp...
Search
Shunsuke KITADA
December 01, 2018
Technology
2
6.9k
日本初の競技機械学習大会 Cpaw AI Competition の運営 / About Cpaw AI Competition in Kaggle Meetup Tokyo
2018/12/1に行われたKaggle Meetup Tokyo LTの資料です。
Shunsuke KITADA
December 01, 2018
Tweet
Share
More Decks by Shunsuke KITADA
See All by Shunsuke KITADA
Large Language Model Agent: A Survey on Methodology, Applications and Challenges
shunk031
12
8.2k
[CV勉強会@関東 CVPR2024] Visual Layout Composer: Image-Vector Dual Diffusion Model for Design Layout Generation / kantocv 61th CVPR 2024
shunk031
1
700
Scaling Rectified Flow Transformers for High-Resolution Image Synthesis / Stable Diffusion 3
shunk031
2
1.7k
[KDD2023論文読み会] BERT4CTR: An Efficient Framework to Combine Pre-trained Language Model with Non-textual Features for CTR Prediction / KDD2023 LY Tech Reading
shunk031
0
910
Improving Prediction Performance and Model Interpretability through Attention Mechanisms from Basic and Applied Research Perspectives (Presentation for Doctoral Dissertation)
shunk031
1
660
[IR Reading 2022秋 論文紹介] Expressions Causing Differences in Emotion Recognition in Social Networking Service Documents (CIKM'22) / IR Reading 2022 Autumn
shunk031
1
2.3k
NLPの研究を加速させるAllenNLP入門 / Introduction to AllenNLP to Accelerate NLP Research
shunk031
4
4.4k
私の学振DC2体験談 (2021~2022年度 学振 DC2 採用) / JSPS DC Hosei Seminar 2023
shunk031
0
6.7k
Practical and Interpretable Deep Learning Techniques in Our Iyatomi’s Lab
shunk031
0
390
Other Decks in Technology
See All in Technology
低レイヤを知りたいPHPerのためのCコンパイラ作成入門 完全版 / Building a C Compiler for PHPers Who Want to Dive into Low-Level Programming - Expanded
tomzoh
4
3.3k
250627 関西Ruby会議08 前夜祭 RejectKaigi「DJ on Ruby Ver.0.1」
msykd
PRO
2
330
生成AIで小説を書くためにプロンプトの制約や原則について学ぶ / prompt-engineering-for-ai-fiction
nwiizo
4
2.5k
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
26k
Javaで作る RAGを活用した Q&Aアプリケーション
recruitengineers
PRO
1
120
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
440
ドメイン特化なCLIPモデルとデータセットの紹介
tattaka
1
180
解析の定理証明実践@Lean 4
dec9ue
0
180
AIエージェント最前線! Amazon Bedrock、Amazon Q、そしてMCPを使いこなそう
minorun365
PRO
15
5.4k
Navigation3でViewModelにデータを渡す方法
mikanichinose
0
220
SalesforceArchitectGroupOsaka#20_CNX'25_Report
atomica7sei
0
200
25分で解説する「最小権限の原則」を実現するための AWS「ポリシー」大全 / 20250625-aws-summit-aws-policy
opelab
9
1.2k
Featured
See All Featured
A Tale of Four Properties
chriscoyier
160
23k
Embracing the Ebb and Flow
colly
86
4.7k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
BBQ
matthewcrist
89
9.7k
Site-Speed That Sticks
csswizardry
10
660
Music & Morning Musume
bryan
46
6.6k
A designer walks into a library…
pauljervisheath
207
24k
Transcript
日本初の競技機械学習大会 “Cpaw AI Competition”の運営 Kaggle Tokyo Meetup #5 LT 2018.12.1
しゅんけー (@shunk031) 1
自己紹介 • 北田 俊輔 (Shunsuke KITADA) @shunk031 shunk031 ◦ 法政大学
理工学研究科 M1 彌冨研 所属 ▪ 文字形状に着目したCJK自然言語処理 ▪ 皮膚障害画像を用いた自動診断システムの構築 ▪ 広告自動生成に向けた基礎研究 ◦ opt (現SIGNATE) ユニクロコン 学生賞受賞 ◦ Kaggleは初心者です 2
3 日本初の競技機械学習大会 “Cpaw AI Competition”の運営
4 日本初の競技機械学習大会 “Cpaw AI Competition”の運営 リアルタイム
Cpaw (シーパウ) とは • 工学院大学・法政大学の学生で立ち上げたIT団体 ◦ 月1回でLT大会を開催 ▪ CpawLT /
CpawLT Night ◦ セキュリティコンテストの運営 ▪ CpawCTF https://ctf.cpaw.site/ ◦ オープンソースカンファレンスへの出展 ▪ 走る!自動販売機 IoTロボットアーム ◦ CpawでHackU最優秀賞を授与 ▪ Cash Box - 顔認証・音声認識搭載 スマートボックス 5
Cpaw AI Competition (CpawAIC) とは • 日本初の ”リアルタイム” 競技機械学習大会 ◦
Cpaw主催・全脳アーキテクチャ若手の会*共催 ◦ 限られた時間内で様々なデータセットの識別器を構築 ◦ 構築した識別器をもとに精度 (accuracy) を競う ◦ 競技終了後に上位者表彰 (景品贈呈) & 作問者から問題の解説 6 *全脳アーキテクチャ若手の会 https://wbawakate.jp/
CpawAICの競技概要 • 競技の流れ 1. 複数種類のトレーニングセットとテストセットが与えられる 2. 与えられたトレーニングセットを用いて識別器を構築 3. テストデータに対して予測を行い、スコアサーバーに提出 •
競技環境 ◦ スポンサーのさくらインターネット様からご提供いただいた 12Core・96GB RAMのハイスペックマシン • 競技時間 ◦ 5時間程度 7
CpawAICの問題概要 8 • 第1回大会 • 古代文字の分類 画像 • ファッションアイテムの分類 画像
• 芸能人ブログ記事の分類 自然言語 • マルウェアの分類 JSON形式 • 悪意のあるURLの分類 文字列
CpawAICの問題概要 9 • 第2回大会 • One-shot Omniglot 画像 • じゃんけんの手分類
画像 • ラベルシャッフルCIFAR100 画像 • プログラミング言語判定 文字列
CpawAICの問題概要 10 • 第3回大会 • 立っている指の本数を分類 画像 • 航空写真のスペクトル分類 画像
• 観光地情報を用いた分類 テーブル
CpawAICの問題概要 11 • 第3回大会 • 立っている指の本数を分類 画像 • 航空写真のスペクトル分類 画像
• 観光地情報を用いた分類 テーブル 正直エグい量の問題を出してると反省しています
CpawAICの運営 • 運営メンバーと大会開催までの道のり • 競技用データセットの作成 • スコアサーバーの開発 • CpawAICのスポンサー様 12
CpawAICの運営 • 運営メンバーと大会開催までの道のり ◦ 学生 4人程度・社会人 2人程度 ▪ 運営メンバー全員が機械学習のバックグラウンドあり ◦
プロジェクトマネージャーを立てて運営計画を実行 ▪ 半年ごとに開催をベースに計画を立てる • 競技用データセットの提案と作成 • スコアサーバーの開発 • プレコンペの実施とその振り返り • 開催場所の調整と準備 13
CpawAIC競技用データセットの作成 • データセットはCIで チェック & 動作確認 を自動化 ◦ 元データ取得スクリプト ◦
データセット生成スクリプト ◦ トレーニングセットのファイル名 ◦ ディレクトリ構成のチェック ◦ 正解データのフォーマット 14 競技用データセットの整合性を保つ 人手を必要としないデータセットの整備
CpawAICスコアサーバーの作成・運用 • Golang Revel & Vue.js 構成のスコアサーバー ◦ 管理画面 ◦
ユーザー認証 ◦ 問題一覧 ◦ リーダーボード ◦ 解答ファイル管理 15
CpawAICのスポンサー様 • 複数の企業様がスポンサーとして協力 (順不同) ◦ さくらインターネット株式会社 様 ◦ 株式会社インターネットイニシアティブ 様
◦ 株式会社いい生活 様 ◦ 株式会社サイバーエージェント 様 • スポンサーになるメリット ◦ 優秀な機械学習人材の発見 ▪ 参加学生がスポンサー企業にインターンに行く事例も有 ◦ スポンサーセッションでの会社紹介 16
CpawAICのスポンサー様 • 様々な種類のスポンサーを募集しております ◦ 1日会場レンタル費用 (50人以上収容可能) ◦ 参加者分の計算機 (サーバー) レンタル費用
◦ 大会後の懇親会費用 • スポンサー特典 ◦ イベントでのノベルティ配布 ◦ スポンサーセッションでの会社紹介プレゼン枠 等 17 詳しくは以下のリンクを御覧ください https://www.cpaw.site/cpaw-sponser/
CpawAICの改善点 • 競技データセットの作成改善 ◦ 競技データセット作成が高コスト ▪ 既存データセットをアレンジして出題したい ◦ 配布用データと正解データの不整合 ▪
整合性をCIでチェックする機構を追加したい ▪ データセットのデプロイまでをCIでやらせたい • さらなるスコアサーバーの開発 ◦ Private LB機能がまだないです ◦ スコアサーバー開発の人材不足が深刻です 18
CpawAICの今後 • 分類問題以外の問題の作成 (回帰・ランキング予想) • オフラインで大会の過去問を解けるように公開 • 企業のデータセットを使った大会の開催 ◦ セキュリティのノウハウもあるので「セキュリティ
x AI」等 • ご協力いただける運営メンバー・スポンサーを増やしたい • 機械学習の習熟度別で大会を開催 • Kaggler-ja と協力したイベントの開催 19