Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
浅(くて広い)層学習 (Amplifyハッカソン)
Search
Yuma Ochi (chizuchizu)
April 25, 2021
Technology
1
690
浅(くて広い)層学習 (Amplifyハッカソン)
最優秀賞でした。
Yuma Ochi (chizuchizu)
April 25, 2021
Tweet
Share
More Decks by Yuma Ochi (chizuchizu)
See All by Yuma Ochi (chizuchizu)
IOAI Solution (NLP, CV) | Team Japan
chizuchizu
0
110
BFが動くCPUを作りたい! @第3回CPUを語る会
chizuchizu
1
340
aranami_idea.pdf
chizuchizu
0
67
DiffType KIH2023
chizuchizu
0
250
週刊タイピングは役に立たない
chizuchizu
0
310
【発表資料】どこやったっけなぁ?
chizuchizu
1
270
アニーリングマシンを使った論理式学習モデルの開発(2021未踏ターゲット事業成果報告会)
chizuchizu
0
1.9k
全国医療AIコンテスト 2021 1st place solution
chizuchizu
0
4.6k
configのすゝめ
chizuchizu
1
250
Other Decks in Technology
See All in Technology
より良いプロダクトの開発を目指して - 情報を中心としたプロダクト開発 #phpcon #phpcon2025
bengo4com
1
3.2k
怖くない!はじめてのClaude Code
shinya337
0
320
製造業からパッケージ製品まで、あらゆる領域をカバー!生成AIを利用したテストシナリオ生成 / 20250627 Suguru Ishii
shift_evolve
PRO
1
160
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
26k
Understanding_Thread_Tuning_for_Inference_Servers_of_Deep_Models.pdf
lycorptech_jp
PRO
0
150
2025-06-26_Lightning_Talk_for_Lightning_Talks
_hashimo2
2
120
SpringBoot x TestContainerで実現するポータブル自動結合テスト
demaecan
0
130
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
2
280
Zephyr RTOSを使った開発コンペに参加した件
iotengineer22
1
170
使いたいMCPサーバーはWeb APIをラップして自分で作る #QiitaBash
bengo4com
0
1.4k
自律的なスケーリング手法FASTにおけるVPoEとしてのアカウンタビリティ / dev-productivity-con-2025
yoshikiiida
1
4.7k
Github Copilot エージェントモードで試してみた
ochtum
0
140
Featured
See All Featured
GitHub's CSS Performance
jonrohan
1031
460k
How to Think Like a Performance Engineer
csswizardry
24
1.7k
We Have a Design System, Now What?
morganepeng
53
7.7k
GraphQLとの向き合い方2022年版
quramy
49
14k
The World Runs on Bad Software
bkeepers
PRO
69
11k
Building Adaptive Systems
keathley
43
2.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.3k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Art, The Web, and Tiny UX
lynnandtonic
299
21k
Rebuilding a faster, lazier Slack
samanthasiow
82
9.1k
Raft: Consensus for Rubyists
vanstee
140
7k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
Transcript
浅(くて広い)層学習 少データでお手軽機械学習 越智優真
自己紹介 • 千葉大学教育学部附属中学校 3年 4月から木更津工業高等専門学校情報工学科 1年 • 機械学習 ◦ Kaggle,
SIGNATE Expert ◦ 専らデータサイエンスをしてる • 量子コンピュータ ◦ 未経験 ◦ 量子ビットって何?からはじまった ◦ 数理科学の量子コンピュータ特集を買って読んでる(難しい)
アピールポイント • 機械学習 ◦ QBoostとNNの融合 ◦ スパースモデリング • 実行速度 ◦
並列処理 ◦ スパースモデリング • 汎用性 ◦ 数値なら何でもOK ◦ ハミルトニアンを書き換える必要なし • 実用性 ◦ 重みの可視化が楽 ◦ 明示的な特徴抽出可 ◦ 様々なタスクにおいて高い精度を確認済み 世界に一つ!
作成したモデル(ハミルトニアン)の概要 • NNっぽさ ◦ 疑似特徴抽出 ◦ 拡張可能 • アンサンブル学習っぽさ ◦
QBoostの応用 ◦ n層作って平均化 アンサンブル学習 とNNの融合
QBoostとは (ざっ くり)
QBoost • アンサンブル機械学習 • 2乗誤差 • 正則化項の存在 • QUBO形式 入力と出力が離散値でつながっているため
表現力が低い (汎用性が低い)
汎用性が低いことに対する 解決策
表現力の向上 • 逆量子化 ◦ 重みを多層化 ◦ ミニバッチ学習 ◦ 離散値 → 連続値(っぽく) •
入力を正規化 ◦ [0, 1]を想定しているため ◦ 入力は小数でOK これらのアプローチから、画像でもテーブルデータで も学習が可能になった
計算の様子(画像) w 1か-1 w 1か-1 w 1か-1 IsingPoly h x
w行列 input [0, 1]の小数 h x w行列 k スカラー 重みの係数 output スカラー 総和をとる 要素積 行列 x スカラー (n次元分) n次元行列の総和 ここが浅くて広いのポイント!
データセット • 量子ビットとの積をとるので 0以外の数が必要 ◦ 0の特徴量があると 学習不可 • 負が存在しないので総和で[-1, 1]に
計算させるのは難しい ◦ ならば負を用意→→→→→→→→ 0を-1に補完 Binary Poly → Ising Poly
工夫点 1. 抽象、汎用的なコーディング 2. スパースモデリング 3. 並列処理 4. 簡単な重みの可視化
汎用、抽象的な コーディング
意識したこと • 拡張性 • 汎用性 • 楽なコーディング &デバッギング • 楽な実験管理
抽象かつ 汎用的な コーディング
例:PyTorch Dataset & DataLoader • ミニバッチ御用 ◦ iterableなので • 前処理、augmentationもできる
• 柔軟 • 書きやすい 深層学習用のライブラリでも使える
例:Config管理 • コードは抽象、configは具体 ◦ スッキリ ◦ ライブラリとしても機能 • 読み/使い やすい
◦ 汎用的
スパースモデリング
少データで高精度、 狙えます
お気持ち シンプルに。よりシンプルに、 本質を抽出せよ。 同様のデータを説明する仮説が二つ ある場合、より単純な方の仮説を選択 せよ。 オッカムの剃刀
Batch Size = 10で実験 MNISTの0ラベル 検証用データ300枚 重み係数1で3層 iterのみ変更させた データ数は bs x
iter Bestはたったの 30〜40データ
並列処理
並列処理 • プロセス番号: CPUのコア数が最大 • 前処理: solverの定義 • メイン: 計算(solve) solver定義はローカル実行 → 非同期処理可 solveはクラウド実行
→ 同期処理 MNISTだと緑1ブロックに 5〜30秒かかる(データサイズと相関有) 1 1 2 3 時間がかかる 前処理が爆速に simple multi process 短縮
簡単な重みの可視化
方法 1. 学習 2. 学習済みの重みを取得 3. 要素ごとの平均 4. 以上 w
1か-1 w 1か-1 w 1か-1 IsingPoly h x w行列 重み [0, 1]の小数 h x w行列 要素ごとの 平均
重み可視化の例 3 7 9 Tシャツ ズボン スニーカー
役に立つこと • 人に説明できる ◦ DNNの欠点は説明が難しいこと ◦ 実用的 • 何で 上手くいく
/ いかない かがわかる ◦ フィードバック可 ◦ 指標+重みをみてモデルを評価できる
どんだけすごいの?
0.946 MNISTのサンプルのAUC score
サンプル実装 • データ ◦ MNIST ◦ 20 x 20 pixels
◦ 訓練100枚 ◦ 検証300枚 • モデル(QBoost) ◦ 重み: 3層 ◦ 重みの係数: 1 ◦ 正則化係数λ: 2 • 結果 ◦ ラベルごとの平均AUC: 0.946 ◦ シンプルな数字程良い性能 申し分ない性能 0と5の 重みを可視化させたもの
タスクごとのAUC 学習は150データのみ • MNIST ◦ 手書き数字画像、400 pixels ◦ 0.946 • Fashion-MNIST
◦ 服や靴の画像、400 pixels ◦ 0.946 • EMNIST ◦ 手書き英文字画像、 400 pixels ◦ 0.865 • otto ◦ Kaggle多クラス分類コンペ 特徴量 93個のテーブルデータ ◦ 0.879 どんなデータでも OK
ハミルトニアンを いじる必要なし お手軽AI爆誕!
解決 • 幅広いデータを受け入れる ◦ 0以外の数値なら何でも • 並列処理 ◦ 環境にもよるが最高で5倍高速化 •
多層化 ◦ 層の数と精度の関係 ▪ データが多い:相関高 ▪ データが少ない:相関低 • スパースモデリング ◦ うまくいった ◦ 層は多すぎると過学習しやすい • 自動特徴抽出 ◦ n次多項式 ◦ 畳み込み • 小さなバグ ◦ 重みを正規化するときにInf, NaNになることが たまにある • パラメータのチューニング ◦ NNの勾配降下法っぽいことをしてうまくやりた い • 異常検知系タスク ◦ 特徴抽出次第だが期待大 これから
以上です ありがとうございました これより後ろに補足を 書いてあるので時間があれば 目を通してもらえればと 思います!
作成したハミルトニアン • データ数S、特徴量数Nの入力x、出力y • 重みは係数k、L層のw • 正則化係数λ
重み計算
自作データセットで 試す方法 1. データのパスを記載 2. カラムを指定して説明変数と従属 変数にわける 3. (必要ならば)
前処理等を行う 4. パラメータを設定 5. 実行!