AI研修(Day1)【MIXI 26新卒技術研修】

本スライドは、MIXIの2026年度新卒向け技術研修で使用された資料です。
　
MIXI 2026新卒技術研修
『AI研修(Day1)』
　
───────────────────────────────
※皆様へのお願い※ 資料・動画・リポジトリのご利用について
───────────────────────────────
公開している資料や動画は、是非、勉強会や社内の研修などにご自由にお使いいただければと思いますが、以下のような場でのご利用はご遠慮ください。
- 受講者から参加費や授業料など金銭を集めるような場での利用
（会場費や飲食費など勉強会の運営に必要な実費を集める場合は問題ありません）
- 出典を削除または改変しての利用

Transcript

1. 2026 新卒AI研修（1⽇⽬） AIを⽀えるML技術の基礎知識編 ©MIXI
2. 講師紹介：⽊内 貴浩 木内 貴浩 / きのうち たかひろ / kittchy 職種：MLエンジニア みてね事業本部 みてねプロダクト開発部 Data Engineeringグループ 学生時代 - 大学院で音声認識の研究でML技術に触れる インターンシップなどで音声処理のML技術の研究開発 経歴 - ©MIXI 2024年4月 MIXI 新卒入社 MLOps に関する業務を経験したくて、「家族アルバム みてね」の事業部にジョイン メディアの自然言語検索基盤やMLレコメンド検索基盤の構築・運用を行う 2
3. 講師紹介：牧野 舜 牧野 舜 / まきの しゅん 職種：MLエンジニア 開発本部 たんぽぽ室 AIモデリンググループ 学生時代 - 大学・大学院では理論物理の研究室に所属 超伝導体における量子渦の微視的理論に関する研究 経歴 - ©MIXI 企業で数理最適化、MLに関する研究開発に従事 2025年4月 MIXI 入社 事業の横断的な支援やスポーツ分析に関する研究開発に従事 3
4. 講師紹介：⽥中 亮太朗 田中 亮太朗 / たなか りょうたろう 職種：MLエンジニア 開発本部 たんぽぽ室 AIモデリンググループ 学生時代 - 大学・大学院でAIを使った読心術の研究 インターンシップなどで自然言語や画像のマルチモーダルモデルの開発 経歴 - ©MIXI 2025年4月 MIXI 新卒入社 モンストにてAIを用いた効率化ツールの開発を行う 4
5. Introduction 10分 （~10:10） ©MIXI
6. AI/ML/DeepLearningの分類 ⼈⼯知能 (Artificial Intelligence; AI) ⼈間のように「考える‧判断する」コンピュータの技術全般 例：チェスAI、⾳声アシスタント、⾃動運転など 機械学習 (Machine Learning; ML) データから⾃動で学習して予測‧判断する仕組み AIを実現する中核技術 深層学習 (Deep Learning) ⼤量のデータから複雑なパターンを学習できるML⼿法 画像認識、⾳声認識、⾃然⾔語処理で⾼精度を実現 ©MIXI 6
7. 1⽇⽬に学ぶこと：AI技術の基礎であるML 1. MLの「共通⾔語」を⾝につける チームでMLの話が出たときに、会話についていける⼟台を作る 2. MLモデルが何をしているか説明できるようになる 「ブラックボックス」ではなく、中で何が起きているかをざっくり理解する 3. 画像‧テキスト‧⾳声など、いろいろなMLに触れる 実際に⼿を動かして「こう動くんだ」を体感する 4. MLモデルをサービスに載せる流れを体験する 推論API化やデプロイなど、エンジニアとして関わる部分を⼀通り触ってみる ©MIXI 7
8. この研修の前提 必要な前提知識 • Pythonの基本⽂法が分かればOK（数学の知識は不要） • 数式が出てきますが、直感的に理解できるレベルで説明します • ⼤学で習うような理論ではなく、実践‧エンジニアリング寄り で進めます 気軽に質問してください • 分からないことはその場で聞いてOK • 「そもそもこれ何？」レベルの質問も⼤歓迎 AI Coding Agentはバンバン使ってください • ©MIXI ハンズオンは AIに編集させやすい状態にしています ◦ marimo notebook を使って逐次実⾏していくのでもOK ◦ README.mdを読みながらClaude Codeに実⾏させるのでもOK 8
9. 1⽇⽬‧2⽇⽬のゴール 1⽇⽬：ML基礎から運⽤まで • MLの基本構造（教師あり）を理解する • 推論‧学習‧⾼速化‧API化まで⼀度つなげて体験する • 評価‧運⽤の共通⾔語を⾝につける（metric、閾値、監視など） 2⽇⽬：LLM/Agent/⽣成AI • ⽣成AIの基礎を理解する（Transformer、Attention、LLMの構造など） • ⽣成AIを⽤いたLLM/Agentの実践を体験する • AI Agent の設計‧評価‧運⽤のサイクルを体験する ©MIXI 9
10. アジェンダ 1. 機械学習(ML)基礎 2. MLモデルの推論 3. MLモデルの学習 4. MLモデルの評価 5. MLモデルの⾼速化 6. MLモデルのデプロイ‧運⽤ 7. まとめ ©MIXI 10
11. ちょっとその前に 30分 （~10:40） ©MIXI
12. ハンズオン環境に⼊ってみましょう。 GPUを⾃由に使うことができる Google Cloud Platformの環境を⽤意しました。 URL : https://github.com/mixigroup/2026BeginnerTrainingAI の記述に沿って環境に⼊ってみてください 準備ができたら • 今回の研修ではmarimo notebookを推奨します（⾃分でCLIで実⾏しても良いです） • marimoの特徴 • ◦ jupyter notebookのように直感的に⽀える ◦ テーブルデータの可視化がしやすい ◦ ***.py ファイルなので、AIに読ませやすい ⼀緒にmarimoの動作確認ハンズオンをやってみましょう https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day1/00-intro-python-environment ©MIXI 12
13. 1. 機械学習（ML）の基礎 30分 （~11:10） ©MIXI
14. 機械学習とは 「過去のデータから知⾒を得て、それを次の決定に利⽤すること」 • 過去のデータ：過去の状態‧情報 ◦ • 数値, 画像, ⾳声, テキスト... 知⾒：ブラックボックスな関数 f(x) ◦ 過去のデータには統計的なルールがあり、 それを表すf(x)を学習によりモデル化する • 決定：現在の状態 (x) から未来 (y) を予測する ◦ ©MIXI 学習した知⾒を元に、未来の結果を予測する 14
15. プログラミングとの違いは？ プログラミング 機械学習 ルールを自分で決めて表現する 過去のデータの中からルールを得る 盤面のスコアリングをルールベース 大量の棋譜からパターンを見つけて、 で決定し、次のアクションの結果を 次の手を決定する 評価して駒を動かす 「角が取れるなら取る」 「王手を優先する」 などのルールを人間が記述する ©MIXI プロ棋士の対局データを学習し 盤面から最善手を予測する 15
16. 統計との違いは？ 統計 機械学習 データからルールを得て、可視化して データからルールを得て、目的の 分析・説明する タスクの予測などに活かす ある意思決定の理由を説明するの 過去の統計情報をもとに、未知の が目的 情報を予測し、精度を上げていくこ とが目的 明日の売上は ???円になりそう！ データから知見を得るという部分は同じだし、基礎理論も同じ →良いデータサイエンティストは良いMLエンジニア ©MIXI 16
17. MLの種類 ©MIXI 17
18. MLの種類 ©MIXI 18
19. 教師あり学習 教師データを用いて学習 画像 バスケット ボール サッカー ボール 野球 ボール おにぎり 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 バスケット ボール サッカー ボール 野球 ボール おにぎり 0.82 0.03 0.14 0.01 ラベル付けされた教師データと モデルの出力の誤差（loss）を 最小化することを目指して学習 入力 ©MIXI モデル ー 誤差(loss) 教 師 デ タ 出力 19
20. 教師あり学習 バスケット ボール サッカー ボール 野球 ボール おにぎり 正解 1 0 0 0 推論結果 0.82 0.03 0.14 0.01 誤差 0.18 0.03 0.14 0.01 入力 ©MIXI モデル 教 師 デ ー 誤差(loss) 画像 タ 出力 バスケット ボール サッカー ボール 野球 ボール おにぎり 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 バスケット ボール サッカー ボール 野球 ボール おにぎり 0.82 0.03 0.14 0.01 20
21. 分類(Classification)と回帰(Regression) クラスラベルを予測するための分類 • 出力が離散値 True/False... 犬、猫、人... • データに与えられたクラス（カテゴリ） 丸い 白黒 スイカくらい 予測 0.3 0.9 0.1 を予測する際に使用 例えば... モンストキャラの画像や特徴から そのキャラがなにかを予測 ©MIXI 21
22. 分類(Classification)と回帰(Regression) 連続値を予測するための回帰 写真から年齢を推定 • 出力が連続値 金額や人数、温度… • 予測 3歳 数字の大小に意味が存在する 値を予測する際に使用 例えば... 家族アルバム みてね の写真から お子様の年齢を推測 ©MIXI 22
23. QUIZ：分類(Classification)と回帰(Regression) 分類問題か回帰問題か？ 1. ユーザの収入や家族構成、その他パラメータから預金額を予測する 2. ユーザの収入や家族構成、その他パラメータからある取引が不正かどうかを 予測する 3. 画像に写っている物の種類を予測する 4. 画像に写っている物の位置を予測する ©MIXI 23
24. MLの種類 ©MIXI 24
25. [Optional]教師なし学習：クラスタリング 構造が不明なラベル付けされてないデータを扱い データ内のパターンを見つける学習 クラスタ2 クラスタ3 クラスタリングによるグループの発見 • 大量の情報を意味のあるグループ（クラスタ） クラスタ1 として構造化できる探索的データ解析 • 教師は必要なく、データのパターンを見つける クラスタリング ©MIXI 25
26. [Optional]教師なし学習：次元削減 構造が不明なラベル付けされてないデータを扱い データ内のパターンを見つける学習 中間表現：元データの重要な特徴だけを 残した圧縮表現 データ圧縮のための次元削減 抜き出す手法 防具 つの Decoder 特性は保持しつつ、重要な情報だけ Encoder - 高次元のデータからノイズを取り除き 特徴量 やり 入力と同じデータを出力するように学習するため、自己教師あり学習とも呼ばれる 統計的分析手法のPCA（主成分分析）を用いて次元圧縮する方法もある ©MIXI 26
27. MLの種類 ©MIXI 27
28. [Optional]強化学習 試行錯誤で報酬を最大化する学習 • 正解ラベルが事前に与えられない点が教師あり学習と異なる • エージェント が 環境 の中で 行動 し、報酬 を受け取りながら方策を学習 基本要素 状態（State）：現在の環境の情報 エージェント 環境 観測 意思決定 意思決定 例：盤面の配置 行動 行動（Action）：エージェントが取れる選択肢 例：駒を動かす 変化 学習 報酬 報酬（Reward）：行動の結果得られるスコア 例：勝利 +1 / 敗北 -1 ©MIXI 28
29. [Optional]強化学習 • 環境とやりとりして行動の報酬をもらうことでエージェントが学習 エージェント 環境 START START +10 START START ©MIXI -10 29
30. 学習と推論 学習（Training） • データから「⼊⼒→出⼒」のパターンを学習 するフェーズ • ⼤量のデータを使って学習することで 「モデル」を構築する 推論（Inference） • 学習済みモデルに新しい⼊⼒を与えて予測を返すフェーズ • 学習済みモデルを使って予測を出すことを「推論」と呼ぶ ©MIXI 30
31. 学習と推論 学習（Training） • データから「⼊⼒→出⼒」のパターンを学習 するフェーズ • ⼤量のデータを使って学習することで 「モデル」を構築する 推論（Inference） • 学習済みモデルに新しい⼊⼒を与えて予測を返すフェーズ • 学習済みモデルを使って予測を出すことを「推論」と呼ぶ ©MIXI 31
32. 2. MLモデルの推論 1時間 （~12:30） ©MIXI
33. MLモデル推論の3つの共通フェーズ 1. Preprocess（前処理） • あらゆる⼊⼒（テキスト/画像/⾳声…）を tensor (多次元配列) に変換 2. Model Inference（モデル計算） • tensor をモデルに⼊れて、出⼒ tensor を得る 3. Postprocess（後処理） • ©MIXI 出⼒ tensor を タスクに適した形にデコード 33
34. 2. MLモデルの推論 テーブルデータ編 ©MIXI
35. テーブルデータ：ハンズオン概要 https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day1/01-simple-model-inference タスク：Iris分類（NN & 勾配ブースティング） やること • Irisの特徴量（4次元）から3クラス分類（Setosa, Versicolor, Virginica） • 2つのアプローチで推論を⽐較 ◦ Neural Network（全結合NN） ◦ [Optional] 勾配ブースティング（LightGBM） 確認ポイント • 前処理の違い：標準化の有無で精度がどう変わるか • クラス確率：各クラスの予測確率を確認 • ⼊⼒1件とバッチ⼊⼒で推論を実⾏ ©MIXI 35
36. テーブルデータ詳細：Preprocess（前処理） 表形式データをモデル⼊⼒に変換 1. ⽋損値処理 • 補完（平均値/中央値/特定値）または⽋損フラグ 2. カテゴリ特徴量 • One-hot / Ordinal / Target encoding 1. 数値特徴量の標準化 ©MIXI • StandardScaler（平均0‧分散1に変換）/ MinMaxScaler（0-1に変換） • NNは標準化が精度に⼤きく影響、勾配ブースティングは不要な場合が多い 36
37. テーブルデータ詳細：Inference（Neural Network） Neural Network • 全結合層（Dense/Linear）の積み重ね • 活性化関数（ReLU, GELUなど） • 例：Input(4) → Dense(16, ReLU) → Dense(8, ReLU) → Dense(3) • 出⼒：logits（未正規化スコア） ©MIXI Newral Networkは後のセクションで学びます 37
38. [Optional]テーブルデータ詳細：Inference（⽊構造モデル） 勾配ブースティング⽊ • 決定⽊のアンサンブルで推論 • LightGBM / XGBoost / CatBoost • 出⼒：predict_proba（クラス確率） 構造化データに対しては、勾配ブースティング決定⽊(GBDT)系の モデルのほうがより優れた精度を発揮することが多い 特徴 • メリット ◦ • ©MIXI 解釈性が高い：2分木ごとに条件文があるため ◦ 比較的軽くGPUも不要 デメリット ◦ 非構造化データには(基本的に)非対応 ◦ マルチモーダルな入力のモデルを作れない ◦ 構造化データ+画像データ＋音声+etc... 38
39. テーブルデータ詳細：PostProcess（後処理） 確率からクラスラベルへの変換 ©MIXI • softmax で確率化：logits → 確率 • argmax でクラス選択 39
40. テーブルデータ詳細：評価指標 Accuracy（正解率） • 例：150件中 145件正解 → Accuracy = 96.7% Irisデータセットは均衡データ 3クラス各50サンプル（合計150）で完全に均等 均衡データでは Accuracy だけで⼗分 に性能を評価できる 不均衡データではAccuracyだけでは不⼗分 例：陽性5%のデータで「全部陰性」と予測 → Accuracy 95%だが意味がない → Precision / Recall / F1 が必要 → NLPセクションで詳しく扱う ©MIXI 40
41. 2. MLモデルの推論 ⾃然⾔語処理編 ©MIXI
42. ⾃然⾔語処理：ハンズオン概要 https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day1/02-nlp-inference タスク：Sentiment Analysis（感情分析） やること • ⽂章全体にポジティブ/ネガティブのラベルを付ける • 例：「私はとっても幸せ」→ ポジティブ、「私はとっても不幸」→ ネガティブ 確認ポイント • 前処理：数値変換ではなく Tokenizer でサブワード分割 • 評価指標：不均衡データなので注意が必要 ©MIXI 42
43. ⾃然⾔語処理：Preprocess（前処理） ⽂章を固定⻑テンソルに変換 1. Tokenizerで分割 • 2. 数値IDに変換 • 3. トークン → 語彙辞書で数値化 → input_ids ⻑さ調整 • ©MIXI 例：「このレストランは最⾼でした！」 → ["この", "レストラン", "は", "最⾼", "でした", "！"] padding / max_length / attention_mask 43
44. ⾃然⾔語処理：Inference（モデル計算） Sentiment Analysisの推論 1. ⼊⼒ • 2. 3. ◦ Token Embedding ◦ Segment Embedding ◦ Position Embedding Devlin et al, 2019, “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding” モデル処理 • BERT系モデルで⽂章全体の特徴を理解する • （2⽇⽬で詳しく説明します） 出⼒ • ©MIXI 前処理結果に以下の処理を入れる logits：(batch, num_labels) ◦ ⽂章全体の各ラベルに対するスコア ◦ 例：(1, 2)（ポジティブ/ネガティブの2ラベル） 44
45. ⾃然⾔語処理：Postprocess（後処理） logits からラベルへの変換 1. softmax で確率に変換 ◦ 2. argmax でラベルID取得 → ラベル名にマッピング ◦ ©MIXI logitsを確率分布に変換：[3.2, -1.5] → [0.99, 0.01] 最⼤確率のラベルを選択：[0.99, 0.01] → ポジティブ（99%） 45
46. ⾃然⾔語処理：評価指標 不均衡データの問題 • 感情分析でネガティブが全体の5% →「全部ポジティブ」でもAccuracy 95% • Accuracyだけでは 少数クラスの検出⼒ を評価できない 不均衡データの問題 • 今回は Recall Precisionの調和平均を とるF1スコアが適している • タスクによって重視する指標は変わる 例えば、、、 スパム判定：Precision重視 → 正常メールを誤ってスパムしたくない 医療診断：Recall重視 → 病気の⾒逃しを絶対に防ぎたい ©MIXI 46
47. 2. MLモデルの推論 画像処理編 ©MIXI
48. 画像処理：ハンズオン概要 https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day1/03-vision-inference タスク：Object Detection（物体検出） やること • 画像から複数の物体を検出（bbox + クラスラベル） • 例：⽝、猫、⼈などの物体を検出 ◦ 各物体の位置（bbox）とクラスを予測 確認ポイント • ©MIXI 出⼒がBounding Boxという新しい形に変わっている 48
49. 画像処理：Preprocess (前処理) 画像をテンソルに変換 1. resize（サイズ調整） • モデルの⼊⼒サイズに合わせる • 例： ◦ (Channels: 3, Height: 640, Width: 480) ↓ ◦ (Channels: 3, Height: 800, Width: 800) 2. normalize（正規化） • ピクセル値を標準化 • 例：0 ~ 255 → 0 ~ 1 3. テンソル化 + サイズ保持 • pixel_values：(batch, channels, H, W) • 元画像サイズを保持（後処理で座標変換に使⽤） ©MIXI 49
50. 画像処理：Inference (モデル計算) Object Detectionの推論 ⼊⼒ • pixel_values：正規化済み画像テンソル モデル処理 • DETR系 / YOLO系で物体検出 出⼒（3つ） • bbox座標：(x, y, w, h) または (x1, y1, x2, y2) • class logits：各クラスのスコア • confidence：検出の確信度（0〜1） ©MIXI 50
51. 画像処理：Postprocess (後処理) 検出結果を使いやすい形に変換 1. 座標変換 • モデル出⼒座標 → 元画像座標にスケール変換 • (Channels: 3, Height: 800, Width: 800) ↓ • 2. 3. confidence閾値フィルタ • 低確信度のBBox検出を除去 • 例：confidence < 0.5 を削除 NMS（Non-Maximum Suppression） • ©MIXI (Channels: 3, Height: 640, Width: 480) 重複bboxを除去（IoU閾値で判定） 51
52. 画像処理：評価指標 mAP（mean Average Precision） • AP50：IoU ≥ 0.5（「だいたい合ってるか」→ 検出漏れを⾒る） • AP75：IoU ≥ 0.75（「位置まで正確か」→ ⾃動運転等） • mAP@[.50:.95]：10段階の IoU で平均 → 総合評価（COCO標準） ©MIXI 52
53. 2. MLモデルの推論 [Optional]⾳声処理編 ©MIXI
54. [Optional]⾳声処理：ハンズオン概要 https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day1/04-audio-inference タスク：ASR（⾃動⾳声認識） やること • ⽇本語⾳声をテキストに書き起こす • 例：「今⽇の天気は晴れです」という⾳声 → "今⽇の天気は晴れです" 確認ポイント • ©MIXI 出⼒が可変⻑になっていること 54
55. [Optional]⾳声処理：Preprocess (前処理) ⾳声を log-mel spectrogram に変換 1. 2. resample（サンプリングレート調整） • Whisper の期待するレートに変換 • 例：48kHz → 16kHz log-mel spectrogram に変換 • ⼈間の⾳⾼の知覚的尺度に基づいて、 周波数成分だけを⾳声から抜き出す 3. • 時間×周波数の2次元表現に変換 • shape：[80, 3000] ← 80 mel 帯域 × 30 秒分 可視化 • ©MIXI スペクトログラムの例 spectrogram を画像として表⽰ → ⾳声の形が「⾒える」 55
56. [Optional]⾳声処理：Inference (モデル計算) Whisper の encoder-decoder 構造 Encoder • ⾳声特徴量 → 内部表現にEncode • 可変朝 Decoder • 内部表現 → トークンを1つずつ⽣成 Radford et al. 2022 ,Robust Speech Recognition via Large-Scale Weak Supervision, ©MIXI 56
57. [Optional]⾳声処理：Postprocess (後処理) token ids からテキストへの変換 1. token id → サブワード変換 • 2. 特殊トークンを除去 • 3. <|startoftranscript|>, <|ja|>, <|endoftext|> などを削除 テキストに結合 • ©MIXI 語彙辞書でIDを⽂字列に変換 サブワードを連結して最終的な⽂字列を⽣成 57
58. [Optional]⾳声処理：評価指標 WER（Word Error Rate） WER = (置換 + 削除 + 挿⼊) / 正解単語数 例：6単語中2語誤り → WER ≈ 33.3% CER（Character Error Rate） ⽂字レベルで同様に計算（分かち書きの影響を受けない） 例：「東京都渋⾕区」→「東京と渋⾕区」 → CER ≈ 16.7% ポイント 固有名詞‧専⾨⽤語は誤りやすい → ドメイン特化辞書で改善 ©MIXI 58
59. 評価指標はタスクごとに異なる 今回紹介した指標は代表例にすぎない 指標選びのポイント • ビジネス要件で最適な指標は変わる（例：医療なら Recall 重視、スパム検知なら Precision 重視） • ⽣成AI（LLM‧画像⽣成など）では評価指標⾃体がまだ研究途上 ◦ ⼈間評価、LLM-as-a-Judge、BLEU/ROUGE など多様なアプローチが共存 • 論⽂やベンチマーク（Papers with Code など）を読んで、⾃分のタスクに合った指標を調査しよう • 適切な評価指標の選択がプロジェクトの成否を左右する → セクション6 で詳しく扱います ©MIXI 59
60. 昼休憩 （12:50 ~ 13:50） ©MIXI
61. MLモデルの学習 1時間30分 （~15:00） ©MIXI
62. 教師あり学習の流れ (分類問題) バスケット ボール サッカーボー ル 野球 ボール おにぎり 正解 1 0 0 0 推論結果 0.82 0.03 0.14 0.01 誤差 0.18 0.03 0.14 0.01 入力 ©MIXI モデル 画像 教 師 デ ー 入力(特徴量) 誤差(loss) 用意したデータ タ 出力 バスケット ボール サッカー ボール 野球 ボール おにぎり 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 バスケット ボール サッカー ボール 野球 ボール おにぎり 0.82 0.03 0.14 0.01 62
63. 教師あり学習の流れ (分類問題) バスケット ボール サッカーボー ル 野球 ボール おにぎり 正解 1 0 0 0 推論結果 0.82 0.03 0.14 0.01 誤差 0.18 0.03 0.14 0.01 画像 教 師 デ ー 入力(特徴量) 誤差(loss)から Parametersを更新 用意したデータ タ Parameters 入力 モデル Hyper Parameters ©MIXI 出力 バスケット ボール サッカー ボール 野球 ボール おにぎり 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 バスケット ボール サッカー ボール 野球 ボール おにぎり 0.82 0.03 0.14 0.01 63
64. Parameters: Weights & Biases パラメーターは学習で変化する値 WeightとBiasがある y=b+x*w この値を調整すると、出力の値が変わる ©MIXI 64
65. 教師あり学習の流れ (分類問題) サッカーボー ル 野球 ボール おにぎり 正解 1 0 0 0 推論結果 0.82 0.03 0.14 0.01 誤差 0.18 0.03 0.14 0.01 用意したデータ 教 師 デ Loss 入力(特徴量) 最適化関数 (Optimizer) バスケット ボール サッカー ボール 野球 ボール おにぎり ー バスケット ボール 1 0 0 0 タ 0 1 0 0 0 0 1 0 0 0 0 1 バスケット ボール サッカー ボール 野球 ボール おにぎり 0.82 0.03 0.14 0.01 損失関数 画像 Parameters 更新 Parameters 入力 モデル Hyper Parameters ©MIXI 出力 65
66. 損失関数(Loss Function) 多クラス分類問題の代表的な損失関数 ➢ Categorical Cross Entropy ©MIXI Label Name バスケットボール サッカーボール 野球ボール おにぎり Output 3.57 0.27 1.80 - 0.83 Softmax 0.8200 0.0302 0.1397 0.0101 Label 1 0 0 0 Cross Entropy 0.086 0 0 0 66
67. 最適化関数: 最急降下法(Gradient Descent) 最適化関数 ➢ Lossが最小になるようなWeightを決定 例: 最急降下法(Gradient Descent) 更新式 Loss 学習率 (learning rate) ©MIXI 67
68. 教師あり学習の流れ サッカーボー ル 野球 ボール おにぎり 正解 1 0 0 0 推論結果 0.82 0.03 0.14 0.01 誤差 0.18 0.03 0.14 0.01 最適化関数 (Optimizer) 用意したデータ 教 師 デ バスケット ボール サッカー ボール 野球 ボール おにぎり ー バスケット ボール 1 0 0 0 タ 0 1 0 0 0 0 1 0 0 0 0 1 バスケット ボール サッカー ボール 野球 ボール おにぎり 0.82 0.03 0.14 0.01 Loss 損失関数 Parameters 更新 Parameters 入力 モデル Hyper Parameters ©MIXI 出力 画像 68
69. ハンズオン: あやめデータセットを使ったモデル学習 https://github.com/mixigroup/2026BeginnerTrainingAI/blob/main/day1/05-model-trainig/notebook_01_iris.py やること ©MIXI • Neural Networkによる学習を経験してみましょう • [Optional] 木構造モデル（勾配ブースティング木）のモデルでも学習をやってみましょう 69
70. MLモデルの学習 ニューラルネットワーク 1時間30分 （~15:00） ©MIXI
71. ニューラルネットワーク(NN) • まず線形なモデルを考える（パーセプトロン） Output Input ©MIXI 71
72. [Activation]ニューラルネットワーク(NN) • 層を増やしてみる Output Hidden Input 線形変換からは逃れられない… ©MIXI 72
73. ニューラルネットワーク(NN) : Activation関数(非線形変換) • NNでは層の途中にActivation関数 Output (非線形変換)を挟む • この関数により、線形分離が できない問題も解けるように ➢ • Hidden2 より複雑な表現が可能 NNでは、Activationを図に 表記しないことが多いので注意 Activation Hidden1 Input ©MIXI 73
74. Activation関数 ©MIXI 74
75. MLモデルの学習 正則化 1時間30分 （~15:00） ©MIXI
76. クイズ：未学習(underfitting)/過学習(overfitting) • どのモデルが正しくデータの傾向を学習できているか？ (a) ©MIXI (b) (c) 76
77. クイズ：未学習(underfitting)/過学習(overfitting) • どのモデルが正しくデータの傾向を学習できているか？ (a) ©MIXI (b) (c) 77
78. 過学習: overfitting 過学習が起こる例 • データが少なすぎる • データに対してモデルが複雑で 表現力が高すぎる データ 訓練データ 検証データ 過学習を対策するためには... • ©MIXI データを訓練データと検証データ に分けることで、overfittingに 気づける状態にしておく テストデータ 78
79. 訓練データ/検証データ/テストデータ • 訓練データで学習させていくと、やがてモデルは Lossを下げるために過学習していく ◦ • 次第に未知のデータへの予測精度が悪化 検証データを切り分け、そのLossを検証することで、 モデルが訓練データに対して過学習することを防ぐ • 検証データを使って訓練データの学習を制御 ◦ Loss 学習データ 検証データ 検証データの情報が訓練データにリークするので 最終的な精度の検証はテストデータで行う Epochs ©MIXI 79
80. 訓練データ/検証データ/テストデータ 訓練データ データ 訓練データ 検証データ 実際に学習に使用するデータ このデータにモデルが適合しすぎると過学習 検証データ 学習のステップごとに検証に使用するデータ このデータと訓練データの結果に差があると 過学習と判断できる テストデータ テストデータ ©MIXI 学習後に結果を検証するデータ ハイパーパラメータも含めて調整時には使っ てはいけないデータ 80
81. 過学習の原因の一例：データ量と偏り • 訓練データは表現したいものの全ての空間を表現している必要がある • 例えば： • ©MIXI ◦ 犬/猫の認識タスクで、ブルドッグの画像が多い学習データを使用したら ◦ ブルドッグ以外の画像は猫と判断されてしまうかも。。。 正解データの分布を均一にさせるなどの工夫が必要 81
82. 過学習に対する手法 ©MIXI • Early Stopping • Data Augmentation • 正則化 • Dropout • バッチ正規化 • … 82
83. 過学習に対する手法 ©MIXI • Early Stopping • Data Augmentation • 正則化 • Dropout • バッチ正規化 • … 83
84. 過学習を防ぐ手法 Early Stopping • 監視する精度(Loss, Accuracy等)が一定期間上がらない場合、 学習を停止させる • 主に検証データのLossを監視指標とすることが多い 記法例 (Keras) Loss 学習データ 検証データ 検証データでの Lossが5回連続 改善しない場合 学習終了 Epochs ©MIXI 84
85. 過学習を防ぐ手法 Data Augmentation • 既存のデータを加工して新しいデータを作ることで、 データ量を水増しする ➢ データのパターンを増やすことにより過学習を抑制 例: 画像のAugmentation オリジナル 回転 位置 Augmentationあれこれ: AgaMiko/data-augmentation-review ©MIXI 縮尺 85
86. 過学習を防ぐ手法 正則化 • 過学習が発生しているモデルは複雑 • 複雑になるのは目的関数を最適化した結果 • 複雑になりすぎないように目的関数にペナルティ(正則化項)を導入する 目的関数 = 損失関数 + λ 正則化項 正則化の効きをコントロール するパラメータ ©MIXI 86
87. 正則化項: L1/L2 Normalization L1 Normalization • モデルのweightを菱形のライン上に収める • 不必要なweightは0を取る事が多い(≒次元圧縮) 損失が最小となる点 L2 Normalization ©MIXI • モデルのweightを円のライン上に収める • 不必要なweightは0に近づく 87
88. 過学習を防ぐ手法 Dropout • ニューラルネットを用いた学習時に、一部のニューロンからの出力を0にする ➢ • 特定のニューロンに対しての依存を抑制 アンサンブル学習のような効果が見込める ➢ エポック毎にDropoutするニューロンが変わることで 擬似的に複数モデルで協調した出力がされる形となり、過学習を抑制 モデル Dropout 適用 1 epoch 2 epoch 3 epoch … ©MIXI 88
89. Hyper Parameters ハイパーパラメータ • 学習前に予め決めておく必要がある値 • 学習によって変化しない • 最適値はタスクによって異なる • learning rate, バッチサイズ • パラメーターの数 • 使用するアルゴリズムの係数 • … 例 ©MIXI 89
90. ハンズオン: モデルの過学習 https://github.com/mixigroup/2026BeginnerTrainingAI/blob/main/day1/05-model-trainig/notebook_02_overfitting.py やること • 「あやめ」データセットで学習させたNeural Networkモデルをによるで過学習を起こしてみよう • [Optional] 木構造モデル（勾配ブースティング木）でも同様 確認ポイント • 評価セットで精度が下がっていること 過学習を起こす例 ©MIXI - モデルのパラメータ数を大きくする - Learning Rate を高くする - Dropoutを消す 90
91. [Optional]ハンズオン: モデルのサイズ調整 https://github.com/mixigroup/2026BeginnerTrainingAI/blob/main/day1/05-model-trainig/notebook_02_overfitting.py やること • 「あやめ」データセットを使ったモデルの学習のレイヤー数や内部次元数を調整して 精度をあげる・過学習させてみよう • ©MIXI やること ◦ モデルのパラメータ数を大きくする ◦ レイヤー数を増やす 91
92. MLモデルの学習 ドメイン適応 1時間30分 （~15:00） ©MIXI
93. ドメイン適応：事前学習モデルのドメイン適応 なぜ必要か • 汎用的に学習されたモデル（例: Whisper, GPT, BERT）は幅広いデータで訓練されているが、特定領域（医 療・法律・社内用語・方言など）では精度が落ちる • これは学習データの分布と、実際に使う現場のデータ分布が異なるため 前提となる考え方 • ソースドメイン: 事前学習で使われた大規模データ（Web全般など） • ターゲットドメイン: 実際に適用したい領域のデータ（自社データ等） • 両者の 分布のズレ（distribution shift） がモデル性能を劣化させる 解決アプローチの位置づけ • ドメイン適用手法により、ゼロから学習するのではなく、事前学習済みモデルの知識を土台にすること で、少量データ・低コストで領域特化を実現できる。 93 ©MIXI 93
94. ドメイン適応：Transfer Learning • 学習済みモデルの一部を利用し、追加で解きたいタスクの学習をさせること • 学習の精度向上や、学習の高速化が期待できる • 出力層以外は学習済みモデルを使用し、出力層やその前の全結合層を新たに 定義して学習させることで、自分のタスクに必要な部分のみを学習させる • CNNの層までは学習済みモデル のパラメーターで固定 • Flatten後のFC層は学習可能な パラメーターとして新しく定義 94 ©MIXI 94
95. ドメイン適応：Fine-tuningとTransfer Learningの違い どちらも「事前学習済みモデルの再利用」だが、更新する重みの範囲が違う 95 ©MIXI Transfer Learning Fine-tuning 重みの更新は追加したヘッド層のみ 全てのパラメータ(or 一部) 出力形式が変わる時に用いる 出力形式が変わらない場合に用いる 95
96. ハンズオン: 転移学習 https://github.com/mixigroup/2026BeginnerTrainingAI/blob/main/day1/05-model-trainig/notebook_03_transfer.py やること • 学習済み画像分類モデルを使って、転移学習を行ってみましょう！ • 転移後のタスクで精度評価をしてみましょう 確認ポイント • ©MIXI 転移先のアウトプットに変わっていること 96
97. MLモデルの評価 30分 （~15:30） ©MIXI
98. 評価指標の違い MLプロジェクトの場合、効果を計る３つの適切な指標を定めておくことが重要 モデルを学習する場合のみ 目的関数 評価関数 KPI 各機械学習モデルが 評価指標における最良の ML技術を運用し、 目的関数を最適化 機械学習モデルを選択 ビジネス的価値をKPIで測定 高柳慎一, 2023, 評価指標入門〜データサイエンスとビジネスを繋ぐ架け橋〜 98 ©MIXI 98
99. 事例深掘り：有害コンテンツ検出でKPIとMetricがずれる ケーススタディ：SNSサービスで 1日10万件 の投稿、違反率 0.1%（≒100件/日） KPI • 有害コンテンツの排除率 • 誤BANによるユーザ離脱の抑制 評価関数 • Precision • Recall 目的関数 • 微分可能な関数 • Cross Entropy Loss ズレのポイント ©MIXI • Recall 95% にすると FP が増え、正常投稿が大量に誤削除 → ユーザ離脱 • Precision 95% にすると FN が増え、有害投稿が残る → 安全性低下 • 落とし所：閾値設計 ＋ 二段階判定（自動→人手レビュー）で KPI を両立させる 99
100. KPI・Metric・Loss がズレる典型例 ドメイン KPI 評価関数 目的関数 不適切画像検出 有害写真の排除 誤BANの最小化 Precision/ Recall Cross Entropy Loss 画像検索システム ユーザの検索数 検索ヒット数 I2T_R@1 CLIP Loss コンテンツ推薦 CTR (Click Through Rate) CVR (Conversion Rate) nDCG (ランキングの並びが正し いか) Pairwise Loss 音声認識サービス 顧客のドメイン情報を書き起こせ ているかどうか WER/ CER CTC Loss ©MIXI （一番目にヒットしたものが 正解だったか） 100
101. MLモデルの⾼速化 1時間 （~16:30） ©MIXI
102. MLモデル⾼速化の全体像 なぜ⾼速化が必要か • レイテンシ：リアルタイム応答が必要（例：チャット、⾳声認識） • スループット：⼤量処理が必要（例：バッチ推論） • コスト削減：GPU/CPU使⽤料を減らす • エッジデプロイ：スマホ‧IoTなど制約のある環境で動かす ⾼速化の代表的な３つのアプローチ • モデル変換：軽量なフォーマットに変換（ONNX等） • 精度削減：FP16/INT8で計算量を減らす • 構造最適化：Pruning、蒸留でモデルを⼩さくする ©MIXI 102
103. MLモデル⾼速化の全体像 • モデル変換：軽量なフォーマットに変換（ONNX等） • 精度削減：FP16/INT8で計算量を減らす • 構造最適化：Pruning、蒸留でモデルを⼩さくする ©MIXI 103
104. なぜPyTorchモデルをそのまま推論に使いにくいか？ 1. PyTorchは動的計算グラフ • モデルにtensorを流す過程でPythonで計算グラフが動的に構築される • グラフが事前に固定されないため、静的最適化（カーネル融合等）が困難→⾼速化が困難※ 2. 学習⽤の不要な依存が多くある • Pytorchは学習⽤の推論に不要なモジュールが数多くある • 巨⼤なパッケージになっていて、実運⽤しづらい 3. ⾔語依存 • Python / C++で動かせるが、torch エコシステム上、その他⾔語で動かしづらい ※ ただし、PyTorch2.0 から compile, exportが強化されており、⼀概に速度が遅いとは⾔えない 近年では、2. 3. の問題を解決する⽬的で使われることが多い印象 ©MIXI 104
105. モデル変換（export）⼿法：ONNX ONNX: モデルをフレームワーク依存の形式にする規格 • torch.onnx.export でPyTorchの動的グラフを 静的グラフに変換して中間表現として保存 • 実⾏は ONNX Runtime（CPU/GPU）などで⾏う ONNX 嬉しいこと • 推論環境が作りやすい（特にPython以外） • 最適化（Graph最適化、融合、量⼦化）を 適⽤しやすい 注意点（ハマりどころ） • exportできない演算（op）や dynamic shape • 可変⻑⼊⼒（Dynamic Shape）が若⼲難しい ©MIXI 105
106. ハンズオン：モデルのエクスポート https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day1/06-accelerate-ml-model やること • Segment Anythingモデル（画像解析）をtorch バージョンと onnx バージョンで速度・精度を比較する 確認すること • エクスポートすることで計算グラフができること（Netron） • エクスポートすることで高速化すること • エクスポートしても精度が変わらないこと もっと いろんなエクスポート形式で速度確認を行う ©MIXI 106
107. MLモデル⾼速化の全体像 • モデル変換：軽量なフォーマットに変換（ONNX等） • 精度削減：FP16/INT8で計算量を減らす • 構造最適化：Pruning、蒸留でモデルを⼩さくする ©MIXI 107
108. 精度削減：半精度（FP16 / BF16） FP32（32bit浮動⼩数点）→ FP16（16bit）に変換してメモリ‧速度を改善 • メモリ使⽤量が約半分に削減 • NVIDIA Tensor Core等のGPUで特に効果⼤ ◦ • CPUではあまり効果なし 精度劣化は多くの場合⼩さい BF16（BrainFloat16）との違い ©MIXI 108
109. 精度削減：量⼦化（Quantization）とは 浮動⼩数点(FP32)を整数(INT8など)で近似する⼿法 • INT8: 8bit整数（-128〜127）で表現 → メモリ約1/4、CPU推論で⾼速化 • weightをscale と zero pointで8bitに近似（近似誤差は発⽣） 量子化前 量子化後 2種類の量⼦化 ©MIXI 109
110. ハンズオン：モデルの量⼦化（INT8） やること • Segment Anythingモデル（画像解析）をint8 に量子化して速度・精度比較 見る観点 • 速度改善：PyTorch → ONNX → INT8でどれくらい速くなったか • 精度影響：同一入力で出力差分をチェック • モデルサイズ：ファイルサイズがどう変わったか（約75%削減が目安） もっと • FP16で速度改善するか確かめる • Netronでグラフ構造が変わっていることを確認する ©MIXI 110
111. MLモデル⾼速化の全体像 • モデル変換：軽量なフォーマットに変換（ONNX等） • 精度削減：FP16/INT8で計算量を減らす • 構造最適化：Pruning、蒸留でモデルを⼩さくする ©MIXI 111
112. 構造最適化：枝刈り（Pruning） 重要度の低い重み‧ニューロン‧フィルタを削除してモデルを軽量化する⼿法 1. 重みの絶対値が⼩さい 2. 出⼒への影響が少ない 3. 削除しても精度劣化が⼩さい ©MIXI 112
113. 構造最適化：知識蒸留 ⼤きな教師モデルの出⼒分布を使って、⼩さな⽣徒モデルを訓練する⼿法 教師モデルの出⼒のハードラベル（正解/不正解）を教師とするのではなく、ソフトラベル（各クラスの確率分布）を 学習することで、ハードラベルだけでは得られない「クラス間の類似性」も学べる ©MIXI 113
114. MLモデルのデプロイと運⽤ 2時間 （~18:30） ©MIXI
115. MLOpsとは MLOps は ML オペレーションの略で、開発からデプロイ、モニタリングに至る ML のライフサイクルを管理する プロセスを指す。（DevOpsにMLモデルの運用が加わった） • テスト追跡: テストと結果を追跡して最適なモデルを特定する • モデルのデプロイ: 本番環境にモデルをデプロイして、アプリケーションからアクセスできるようにする • モデルのモニタリング: モデルをモニタリングして、パフォーマンスの問題や低下を検出する • モデルの再トレーニング: 新しいデータでモデルを再トレーニングしてパフォーマンスを改善する なぜ必要か • エラーリスクの増大：モデルは時間とともに精度が劣化する（データドリフト） • 拡張性の欠如：MLモデルやデータセットが多くなるにつれて、手動プロセスが困難になる • 効率の低下：データ整形→学習→評価→デプロイを全て手動にすると時間がかかる • コラボレーションの低下：規模が大きくなるとステークホルダーが増えていく • 再現性の低下：再現性の確保（データ・コード・モデルのバージョン管理） Google Cloud 「MLOpsとは」 Machine Learning Operations (MLOps): Overview, Definition, and Architecture ©MIXI 115
116. MLOpsとは 主要コンポーネント • 探索的データ分析(EDA): ML モデルのトレーニングに使用されるデータを探索して理解するプロセス • データ準備と特徴量エンジニアリング：元データのクリーニング、変換、フォーマット • モデルのトレーニングと調整: 準備したデータで ML モデルをトレーニング • モデルのレビューとガバナンス: 責任を持って倫理的に ML モデルを開発、デプロイ • モデルの推論とサービング: 本番環境での ML モデルのパフォーマンスと動作を継続的にモニタリング • モデルの自動再トレーニング：パフォーマンス低下/新データが利用可能になったらMLモデルを再学習 Google Cloud 「MLOpsとは」 Machine Learning Operations (MLOps): Overview, Definition, and Architecture ©MIXI 116
117. 継続的学習：Machine Learning Operations; MLOps CI/CD 分析・学習 モデルの学習パイプライン モデルの自動デプロイ パフォーマンスチェック ©MIXI 出典：”MLOps: ML における継続的デリバリーと自動化のパイプライン ” by Google, licensed under CC BY 4.0 を改変 117
118. Vertex AIについて Google Cloud（GCP）が提供する ML プラットフォーム MLOpsに必要なモデルの開発・デプロイ・運用に必要な機能をまとめて提供する 位置づけ • 単なるデプロイ基盤ではなく、ML ライフサイクル全体をカバー • フルマネージド（インフラ管理不要）でスケール・監視・ロールバックが可能 このハンズオンで使っている部分 Artifact Registry：コンテナイメージの保存 Vertex AI Model Registry：モデルのバージョン管理 Vertex AI Endpoint：推論 API のホスティング ©MIXI 118
119. Vertex AIでできること ©MIXI 119
120. ハンズオン：Vertex AI デプロイ https://github.com/mixigroup/2026BeginnerTrainingAI/tree/main/day1/07-model-deploy やること • Vertex AI Inferenceでデプロイ • 前の章で作ったSegmentAnything モデルを推論する • FastAPI+カスタムコンテナで構築 • ModelはModel Registry でバージョン管理 Point モデルとコンテナイメージを分離する • モデルを更新するたびにコンテナを再ビルドしなくて済む • モデルのバージョン管理とコンテナのバージョン管理を独立させられる ◦ ©MIXI モデルのみのA/Bテストが可能 120
121. 監視について：本番運用の監視 デプロイ後に「正しく動き続けている」ことを確認する仕組みが必要。 監視の3つの軸 ©MIXI 121
122. 監視について：データドリフト 学習時と本番の入力データの分布が変わること。精度劣化の主要因。 具体例 • 画像認識：カメラの変更で画質・色味が変化 • 推薦：ユーザ層の変化やトレンドの変化 • 音声認識：マイクや環境ノイズの変化 検知の基本的なアプローチ • 入力特徴量の統計値（平均・分散）を定期的にチェック • Vertex AI Model Monitoring / SageMaker Model Monitor が自動検知を提供 ドリフトを検知したら ©MIXI • モデルの再学習を検討する • 新しいデータでの評価を行い、劣化を確認する 122
123. 要件定義：システム要件 MLモデルによる「推論」をどのように動かすかも決めておく。 1. MLモデルをどのタイミングで動かすか • • 非同期処理か ◦ バッチ処理による一括推論 ◦ ストリーム処理による逐次推論 同期処理か 2. 推論速度 ©MIXI • リアルタイム推論で許容されるレイテンシーは？ • 速度と精度、どちらを優先すべきか 123
124. 要件定義：そもそもMLで解くべき問題か？ 最近のMLモデルは汎用化が進み、何でもできるように見える だからこそ惑わされず、ルールベースで十分ならまずそこから試すべし ルールベース vs ML：ROI（費用対効果）で判断する ©MIXI 124
125. 要件定義：みてね のML推論事例 機能要件 • 画像から顔を検出し、顔の解析を行う ◦ 顔の位置、顔の向き、推定年齢など 非機能要件 • リアルタイム推論は必要ない • 1日に約1000万レベルのメディアを解析 • 複数のタスク特化したモデルを使用 アーキテクチャ ©MIXI • Queue(SQS) を用いて非同期処理 • 複数の顔解析器をパイプライン化 • メディアのUploadをトリガーに非同期処理 125
126. クロージング （5分） ©MIXI
127. 今日のまとめ 学んだこと 127 ©MIXI • ML基礎: 教師あり学習の骨格（入力x、正解y、予測ŷ） • 推論の共通構造: Preprocess → Model Inference → Postprocess • 学習と評価: loss、metric、過学習、データ分割 • 転移学習: 事前学習済みモデルの活用 • モデル変換・高速化: ONNX、量子化、最適化 • デプロイ: デプロイ • 評価と運用: KPI・metric・loss、運用、 127
128. 2日目について テーマ：LLM / Agent / 生成AI • 生成AIの基礎: Transformer、Attention、LLMの構造を理解する • LLMの実践: プロンプトエンジニアリング、RAG、Fine-tuningを体験する • AI Agentの構築: Tool Use、ReAct パターンなどを用いたAgent設計を体験する • 評価と運用: LLM/Agentの評価手法と運用サイクルを学ぶ 1日目との接続 • 128 ©MIXI 今日学んだ ML の基礎（推論・学習・評価・デプロイ）は、LLM/Agent でも同じ枠組みで考えられる 128
129. おわりに お疲れ様でした 本日の講義はこれで無事終了です 是非、今日学んだり思考したことをきっかけに、 サービス改善の選択肢としてAI導入も検討してもらえるように なってもらえると嬉しいです 困ったときは社内に頼りになるMLエンジニアがいるので、 相談してみてください ©MIXI 129
130. ©MIXI