東工大 traP Kaggle班 機械学習講習会 2024

東京工業大学デジタル創作同好会 traP Kaggle班 が2024年に実施した 「機械学習講習会」 の資料です。
各回ごとの資料、補足資料、そのほか各種リンク等は https://abap34.github.io/ml-lecture/ で閲覧可能です。

Transcript

1. 機械学習講習会 2024 2024/06/24 - 2024/7/17 traP Kaggle班 @abap34 1 / 420
2. この資料は 東京工業大学デジタル創作同好会 traP Kaggle班 で 2024年に実施した 「機械学習講習会」の資料です. 機械学習に初めて触れる学部一年生のメンバーが 1. 基本的な機械学習のアイデアを理解 して, 2. 最終的にニューラルネットを実際の問題解決に使えるようになること を目指しています. (講習会自体については https://abap34.github.io/ml- lecture/supplement/preface.html をみてください) この資料について 2 / 420
3. 目次 [1] 学習 ▶︎ この講習会について ▶︎ 学習とは? ▶︎ 損失関数 ▶︎ トピック: なぜ"二乗"なのか [2] 勾配降下法 ▶︎ 関数の最小化 ▶︎ 勾配降下法 [3] PyTorch と自動微分 ▶︎ PyTorch の紹介 ▶︎ Tensor型と自動微分 ▶︎ トピック: 自動微分のアルゴリズムと実 装 [4] ニューラルネットワークの構造 ▶︎ 複雑さを生むには？ ▶︎ 「基になる」関数を獲得する ▶︎ ニューラルネットワークの基本概念 ▶︎ トピック: 万能近似性と「深さ」 [5] ニューラルネットワークの学習と評 価 ▶︎ DNN の学習の歴史 ▶︎ 初期化 ? ▶︎ 確率的勾配降下法 ▶︎ さまざまなオプティマイザ ▶︎ バリデーションと過学習 [6] PyTorch による実装 ▶︎ データの前処理 ▶︎ モデルの構築 ▶︎ モデルの学習 ▶︎ モデルの評価 [7] 機械学習の応用, データ分析コン ペ ▶︎ データ分析コンペの立ち回り ▶︎ EDA ▶︎ CV と shake ▶︎ ハイパーパラメータのチューニング 3 / 420
4. この資料を管理しているレポジトリは https://github.com/abap34/ml-lecture　です。 誤りのご指摘などはこちらの Issue または https://twitter.com/abap34 までご連絡ください. 補足資料なども含めてまとめたものを https://abap34.com/trap_ml_lecture.html から確認できま す. この資料のリンクにはサークルメンバー以外がアクセスできないものが含まれています. (oj.abap34.com, dacq.abap34.com など) オンラインジャッジは https://github.com/abap34/ml-lecture-judge コンペプラットフォームは https://github.com/abap34/DacQ-v2 を動かしています. どちらもかなり未成熟ですが, 基本的なオンラインジャッジの機能と, データ分析コンペプラッ トフォームの機能を提供しています.これらをホストすることで同等の環境を構築することがで きます. そのほか何かあれば https://twitter.com/abap34 までご連絡ください. 各種リンク,注意など 4 / 420
5. 資料の公開にあたって, 東京工業大学情報理工学院情報工学系博士後期課程の @YumizSui さん (大上研究室) と 前田航希さん (@Silviase, 岡崎研究室)に 内容について多くの助言をいただきました. この場を借りてお礼申し上げます. 謝辞 5 / 420
6. 6 / 420
7. 機械学習講習会 [1] 「学習」 2024/06/24 traP Kaggle班 7 / 420
8. はじめに 8 / 420
9. 機械学習の基本的なアイデアを理解して 問題解決の手段として使えるようになる. この講習会のゴール 9 / 420
10. 第1回 │ 学習 第2回 │ 勾配降下法 第3回 │ 自動微分 第4回 │ ニューラルネットワークの構造 第5回 │ ニューラルネットワークの学習と評価 第6回 │ PyTorch による実装 第7回 │ 機械学習の応用, データ分析コンペ おしながき 10 / 420
11. 機械学習は非常に広大な分野 ⇨ 全7回ではちょっと限界がある 今回の講習会ではとくにディープラーニングについてメインに扱います ツールを触るだけで原理は全然やらない 原理をやるだけで全然使えない にならないようにどちらもバランス良くやります この講習会で扱うこと・扱わないこと 11 / 420
12. 機械学習の基本的なアイデアを説明できるようになる ライブラリに頼らず基本的なアルゴリズム, モデルを実装できるようになる PyTorch を使った基本的なニューラルネットの実装ができるようになる 最終的には... 12 / 420
13. Python を使います 慣れている人へ → Jupyter Notebook と numpy, matplotlib, scipy, PyTorch あたりのライブラリを使 えるようにしておいてください 慣れていない人へ → https://abap34.github.io/ml-lecture/supplement/colab.html をみて Google Colaboratory の使い方を覚えておいてください 使うプログラミング言語 13 / 420
14. 1.Pythonを使った初歩的なプログラミング if文, for文, 関数 など 外部パッケージの利用 (そこまで高度なことは求めません ググり力とかの方が大事) 2.数学の初歩的な知識 基本的な行列の演算や操作 (積,転置など) 基本的な微分積分の知識 (偏微分など) (1年前期の (線形代数)　+ (微分積分のさわり) くらい) 使うプログラミング言語や前提知識など 14 / 420
15. (ここだけの話機械学習はめちゃくちゃおもしろい) 全7回,がんばりましょう！！ がんばりましょう 15 / 420
16. 第一回: 学習 16 / 420
17. 今日の目標 機械学習の基本的な用語を整理して 「学習」ということばをきちんと説明できるようになる. おしながき 17 / 420
18. AI(人工知能) 「人間っぽい知能」を実現しようとする分野・あるいは知能そのもの 機械学習(Machine Learning, ML)　 様々な情報から「学習」をして動作するアルゴリズム 人工知能の一つのかたちと見られることが多い ⬇︎ つまり？ 機械学習 or AI？ 18 / 420
19. 機械学習 で 人工知能 を実現 ( スーパーカー で,爆速移動 を実現) 機械学習 or AI？ ここでは一つの定義を紹介しましたが, 実際この二つの言葉に明確に定義や合意があるわけではないです. 手法を厳密に分類してもあまり嬉しいことはないと思いますが, とりあえずこの講習会ではこういう形で整理してみることにします. 19 / 420
20. 機械学習(Machine Learning, ML)　 様々な情報から「学習」をして動作するアルゴリズム ↑ 学習って何？ 学習ってなに？ 20 / 420
21. 今日のテーマ: 「学習」を説明できるようになる 21 / 420
22. 気温↑　→　売れそう 気温↓　→　売れなさそう 「アイスの売り上げ」は 「気温」からある程度わかりそう？ < ...来月の売り上げが予想できた らどのくらい牛乳仕入れたらいいか わかって嬉しいな. 「気温」と「アイス」 データは https://okumuralab.org/~okumura/stat/160118.html　から引用 22 / 420
23. < なんか来月の予想平均気温30度って気象庁が言ってたな. < !!!!! アイスの売り上げを予測するAIをつくる. 23 / 420
24. < 過去に30℃のときは... アイスの売り上げを予測するAIをつくる. 24 / 420
25. 一番簡単な方法: 過去の全く同じ状況を参照する < これでアイスの売り上げを予測するAIの完成や！ <そのまた来月の予想平均気温は40℃です. < !? 過去を参照すると... 気象庁ロゴは https://www.jma.go.jp/jma/kishou/info/logo.html より 25 / 420
26. < 40℃ないやんけ 詰んだ 26 / 420
27. 「予測」ってなんだっけ？ → 入力を受け取ってそれっぽい出力をすること ⇩ 今回は 「入力: 気温」 → 「出力: アイスの売り上げ」 そして 入力は知ってるものだけとは限らない 「予測」を考える 27 / 420
28. ← こいつが本当にやらなくてはいけなかったことは... 売り上げ = (気温) となる関数 の推定 このような入力データを受け取り結果を返す をモデルと呼ぶ 予測できるようになる ↔︎ ? 28 / 420
29. 売り上げ = (気温) となる関数 を作りたい. ⇨ 一旦話を簡単にするために 「 (気温) = 気温 + 」 のかたちであることにしてみる. 線形回帰 29 / 420
30. のとき... < わるくない ためしてみる 30 / 420
31. のとき... < おわてます ためしてみる 31 / 420
32. を変えることでモデル の具体的な形が変わった！ このように各モデルが固有に持ってモデル自身の性質を定める 数を 「パラメータ • • • • • 」という. ( は をパラメータとして持つ ) ⬇︎ の構造を決めておけば... 「 の推定 のパラメータの推定」 パラメータ 関数 がパラメータ を持つことを陽に示すために, と書くことがあります. 今回の場合は となります. 32 / 420
33. アイスの売り上げを予測するには, 気温から売り上げを予測する 「関数」を構築するのが必要であった. いったん, 今回は関数の形として (一次関数) に限って,関数を決め ることにした. この関数は, パラメータとして をもち, を変えることで 性質が変わるのがわかった これからやる仕事は, 「 をいい感じのものにする」ことで「いい感じの を作る」こと ちょっとまとめ 33 / 420
34. のとき... < わるくない のとき... < おわてます ⇩ なぜ？ < グラフを見ればわかる. さっきの例 34 / 420
35. 上: 下: いい勝負? 35 / 420
36. 湿度や人口、子供の割合なんか も売り上げとは関係しそうだからこ れらも入力に入れたいな。 (気温, 湿度, 人口, ) ⇩ グラフが書けない！ 案1. 高次元の存在になる 案2. 定量的な指標を考える 破綻 36 / 420
37. 良さとは？ ⇩ 悪くなさ ⇩ 悪くなさとは何か？ ⇩ データと予測の遠さ 定量的な指標を考える: 損失関数の導入 37 / 420
38. 平均二乗誤差(Mean Squared Error) : 実際の値　(確定値) ... 過去のアイスの売り上げ : モデル : 入力データ　(確定値) ... 過去の気温 平均二乗誤差(Mean Squared Error) なぜ差を二乗するのか疑問に思った人もいるかもしれません.　 全てをここで話すと情報量過多なので一旦置いといてあとで軽く議論します.(末尾の付録) 38 / 420
39. , , のとき, 計算例 39 / 420
40. このモデルの悪くなさを定義する関数を「損失関数」と呼ぶ. 学習とは？ ⇨ 「損失関数を最小にする のパラメータを探す過程」 損失関数 40 / 420
41. Q. 損失は何の関数？ (何を動かして損失を小さくする？) 各 は変数みたいな見た目だけど 「もう観測された確定値」 • • • • • • • • • • • • 何を動かして損失を小さくする？ ものすごく進んだ話: たまに「入力データ」っぽいものに当たるものについても変数とみることもあります. 自分の知っている話だと DeepSDF という三次元形状を表現する NN では latent code と呼ばれる物体固有の表現を表すベクトルも変化させて損失関数を最小化していました. 41 / 420
42. 上: 下: 頑張って計算すると, ⇩ いい勝負だったやつの計算例 42 / 420
43. で が最小 実は今回は 43 / 420
44. いや それ どう やったの 当然の疑問 44 / 420
45. 次回予告 第二回 勾配降下法 45 / 420
46. アイスの売り上げを予測するには, 気温から売り上げを予測する 「関数」を構築するのが必要であった. いったん, 今回は関数の形として (一次関数) に限って,関数を決め ることにした. この関数は, パラメータとして をもち, を変えることで 性質が変わるのがわかった モデルの「よさ」のめやすとして 「損失関数」を導入した パラメータを変えることで損失関数を最小化する過程のことを「学習」と呼ぶ まとめ 46 / 420
47. レベル1の説明 ⇨ 性質がいいから 微分可能で導関数も簡単　(絶対値関数は微分不可能な点がある) 計算もそんなに大変ではない (百乗誤差などと比べて) 付録: なぜ二乗するのか？ 理論的なことを考えると微分可能でないと大変なことが多いです. 一方で現実の最適化だと微分不可能な点が有限個(何なら可算無限個) あっても何とかなることが多いです. 47 / 420
48. レベル2の(ちゃんとした)説明 ⇨ 誤差が正規分布 にしたがうと仮定したとき, 二乗誤差の最小化は尤度の最大化に対応する 付録: なぜ二乗するのか？ 48 / 420
49. [証明] , とする. このとき 　より 尤度は が固定されていることに注意すると, これの最大化は結局 の最小化に帰着する. 付録: なぜ二乗するのか？ 49 / 420
50. 機械学習講習会 [2] 「勾配降下法」 2024/06/25 traP Kaggle班 50 / 420
51. アイスの売り上げを予測するには, 気温から売り上げを予測する 「関数」を構築するのが必要であった. いったん, 今回は関数の形として (一次関数) に限って,関数を決め ることにした. この関数は, パラメータとして をもち, を変えることで 性質が変わるのがわかった モデルの「よさ」のめやすとして, 「損失関数」を導入した パラメータを変えることで損失関数を最小化する過程のことを「学習」と呼ぶ まとめ 51 / 420
52. を動かすことで.... を小さくしたい 前回到達したところ... 52 / 420
53. 問題 最小化してください. 「関数の最小化」を考える 53 / 420
54. 問題 最小化してください. 解答 のとき最小値 「関数の最小化」を考える 54 / 420
55. 簡単な数式の操作で解けた！ 機械的に書くなら 「 を最小にする は 」 という公式を使った プログラムに起こすと... # ax^2 + bx + c を最小にする x を返す関数. def solve(a, b, c): return -b / (2 * a) どう「解けた」？？ 55 / 420
56. 最小化してください. 第二問 56 / 420
57. なので, 最小値であることの必要条件 を調べると... を満たす を考えると....... 第二問 57 / 420
58. 58 / 420
59. 59 / 420
60. 60 / 420
61. 61 / 420
62. 62 / 420
63. ？ 63 / 420
64. いいたかったこと このレベルの単純な形の関数でも解をよく知っている形で書き表すことは難しい 一般の関数の最小化 64 / 420
65. われわれの目標... 誤差 を最小化したかった. もう一度目的を整理する 65 / 420
66. Q. 厳密な最小値を得る必要があるか？ 効いてくる条件① 66 / 420
67. A. No. 厳密に最小値を得る必要はない 数学の答案で最小値 1 になるところを 1.001と答えたら当然 一方 「誤差 1」 が 「誤差1.001」 になってもほとんど変わらない 効いてくる条件① 67 / 420
68. は非常に複雑になりうる 第一回では 話を簡単にするために の形を考えたが... (特にニューラルネットワーク以降は) 非常に複雑になりうる 効いてくる条件② 複雑そうな式を気分で乗せただけなのであまり意図はありません 68 / 420
69. 　 非常に広い範囲の関数に対して そこそこ小さい値を探せる方法 われわれに必要な道具 69 / 420
70. 勾配降下法 われわれに必要な道具 70 / 420
71. 微分係数 関数 の における微分係数 微分のおさらい 71 / 420
72. 微分係数 は における接線の傾き 微分は「傾き」 72 / 420
73. 微分係数 は, における接線の傾き ⬇︎ 方向に関数を すこし動かすと関数の値はす こし小さくなる 微分は「傾き」 73 / 420
74. 例) で は負の方向 ⬇︎ すこし負の方向に を動かしてみる 　小さくなった 「傾き」で値を更新してみる 74 / 420
75. 例) で は負の方向 ⬇︎ すこし負の方向に を動かしてみる 　小さくなった 「傾き」で値を更新してみる 75 / 420
76. これを繰り返すことで小さい値まで到達できそう！ 「傾き」で値を更新してみる 76 / 420
77. 勾配降下法 関数 と初期値 が与えられたとき, 次の式で を更新するアルゴリズム ( は学習率と呼ばれる定数) 勾配降下法 正確にはこれは最急降下法と呼ばれるアルゴリズムで, 「勾配降下法」は勾配を使った最適化手法の総称として用いられることが多いと思います. (そこまで目くじらを立てる人はいないと思いますし, 勾配降下法あるいは勾配法と言われたらたいていの人がこれを思い浮かべると思います.) 77 / 420
78. マイナーチェンジが大量！ (実際に使われるやつは第五回で予定) 抑えてほしいこと 1. 値が の方向に更新される 2. 学習率によって更新幅を制御する 勾配降下法 78 / 420
79. 値が の方向に更新される (さっきの説明の通り) 勾配降下法のお気持ち 79 / 420
80. 微分はあくまで「その点 • • • の情報」 傾向が成り立つのはその周辺だけ ⬇︎ 少しずつ更新していく必要がある ⬇︎ 小さな値 学習率 をかけることで 少しずつ更新する 学習率による更新幅の制御 80 / 420
81. 初期値として 学習率として を設定.(この二つは自分で決める！) 最小値を与える に非常に近い値が得られた！ 実際にやってみる 81 / 420
82. その式を (解析的に) 解いた結果が何であるか知らなくても, 導関数さえ求められれば解を探しにいける 勾配降下法のココがすごい！ 82 / 420
83. 第二問 最小化してください. 実際にやってみる2 83 / 420
84. . 初期値として , 学習率として を設定. ヨシ！ 実際にやってみる2 84 / 420
85. from math import exp x = 3 # （注意: $\eta$ は 学習率 (learning rate) の略である lr としています.） lr = 0.0005 # 最小化したい関数 def f(x): return x ** 2 + exp(-x) # f の x での微分係数 def grad(x): return 2 * x - exp(-x) Pythonによる実装 85 / 420
86. をコードに起こす for i in range(10001): # 更新式 x = x - lr * grad(x) if i % 1000 == 0: print('x_', i, '=', x , ', f(x) =', f(x)) x_ 0 = 2.997024893534184 , f(x) = 9.032093623218246 x_ 1000 = 1.1617489280037716 , f(x) = 1.6625989669983947 x_ 2000 = 0.5760466279295902 , f(x) = 0.8939459518186053 x_ 3000 = 0.4109554481889124 , f(x) = 0.8319008499233866 ... x_ 9000 = 0.3517515401706734 , f(x) = 0.8271840265571999 x_ 10000 = 0.3517383210080008 , f(x) = 0.8271840261562484 Pythonによる実装 86 / 420
87. 勾配降下法があまりうまくいかな い関数もある 例) 常に上手くいく？ 87 / 420
88. あたりから勾配降下法をすると、 に収束する！ うまくいかない例 88 / 420
89. 局所最適解 ... 付近では最小値 ( あたりのもの全て) 大域最適解 ... 全体で最小値 ( あたりのもの) 局所最適解への収束 89 / 420
90. ⇨ なるべく局所最適解に ハマりまくらない • • • • • • • • ように色々と工夫 (詳しくは第5回) Momentum AdaGrad マイナーチェンジ 90 / 420
91. 多変数関数の場合は,微分係数→勾配ベクトル　に置き換えればOK 多変数関数への応用 勾配ベクトルは各変数の偏微分係数を並べたものです. 例えば の における勾配ベクトルは です. これを とかきます. 一年生はちょうど微分積分学第一でやるころかと思うので大きくは扱いませんでしたが, 一変数の場合できちんと理解できていれば大丈夫です. 91 / 420
92. 第三問 最小化してください. 再掲: 一般の関数の最小化 嫌です. 92 / 420
93. 第三回　自動微分 次回予告 93 / 420
94. 機械学習講習会 第三回 - 「自動微分」 traP Kaggle班 2024/06/28 94 / 420
95. 損失関数の最小化を考える上で, 一般の関数の最小化を考えることにした 損失関数の厳密な最小値を求める必要はなく, また損失関数は非常に複雑になりう るので, 広い範囲の関数に対してそこそこ上手くいく方法を考えることにした たいていの関数に対して, 導関数を求めることさえできればそれなりに小さい値を 探しに行けるようになった 逆に, 「導関数」は自分で求める必要がある 前回のまとめ 95 / 420
96. いまはね 実は 96 / 420
97. 第三問 最小化してください. 思い出すシリーズ: 一般の関数の最小化 97 / 420
98. 98 / 420
99. は非常に複雑になりうる 第一回では 話を簡単にするために の形を考えたが... (特にニューラルネットワーク以降は) 非常に複雑になりうる 思い出すシリーズ 99 / 420
100. 人間が微分を行うのは限界がある ⇨ 計算機にやらせよう！ 自動微分 (Automatic Differentiation) 自動微分 正確には「自動微分」は, コンピュータに自動で微分を行わせる手法のうち, とくに関数を単純な関数の合成と見て連鎖律を利用して, 陽に導関数を求めることなく微分を行う手法を指し ます. (より狭義に, back propagationを用いるもののみを指すこともあるようです). 100 / 420
101. PyTorchの導入 PyTorchを使った自動微分 自動微分を使った勾配降下法の実装 自動微分の理論とアルゴリズム おしながき 101 / 420
102. PyTorch 102 / 420
103. 結論から言うと... PyTorchを使うと微分ができる. >>> x = torch.tensor(2.0, requires_grad=True) >>> def f(x): ... return x ** 2 + 4 * x + 3 ... >>> y = f(x) >>> y.backward() >>> x.grad tensor(8.) ( の における微分係数 が計算されている) 自動微分 103 / 420
104. 事実: ニューラルネットワークのさまざまな派生系の 基本的な部品 部品に対してやる作業 は大体同じ！ そもそもPyTorchとは？　〜深層学習フレームワーク〜 104 / 420
105. 例) 新しい車を開発するときも,部品は大体同じ,組み立ても大体同じ ⇩ 毎回同じことをみんながそれぞれやるのは面倒 ⇩ 共通基盤 • • • • を提供するソフトウェアの需要がある そもそもPyTorchとは？　〜深層学習フレームワーク〜 105 / 420
106. TensorFlow (主に) Googleが開発したフレームワーク 産業界で人気 (が, 最近はPyTorchに押され気味) PyTorch (主に) Facebookが開発したフレームワーク 研究界で人気 (最近はみんなこれ？) Keras いろんなフレームワークを使いやすくしたラッパー (おもに TensorFLow) とにかくサッと実装できる JAX/Flax, Chainer, MXNet, Caffe, Theano, ... どの組み立て機を使う？ 有名なフレームワークたち 106 / 420
107. どれがいいの？ ⇨ PyTorchを使っておけば間違いない (と, 思います) (赤: PyTorch, 青: TensorFlow) そもそもPyTorchとは？　〜深層学習フレームワーク〜 107 / 420
108. 今回は PyTorch を使います！ 高速な実行 非常に柔軟な記述 大きなコミュニティ 超充実した周辺ライブラリ サンプル実装の充実 (← 重要!!) なので 大体の有名フレームワークにそこまで致命的な速度差はなく, 記述に関しては好みによ るところも多いです.PyTorchの差別化ポイントは, 有名モデルの実装サンプルが大体存 在するという点です. 実際に論文を読んで実装するのは骨の折れる作業なので, サンプルが充実していのはと ても大きな利点です. 108 / 420
109. 自動微分ライブラリとしての PyTorch の使い方を習得して, 手で微分するのをやめる 今日のお話 109 / 420
110. 数学の 「数」 に対応するオブジェクトとして,PyTorchでは Tensor 型 を使う Tensor 型 110 / 420
111. Tensor (テンソル) スカラー ▶︎ ベクトル　▶︎ 行列 ... を一般化したもの。 添字 個によって表現される量を 階のテンソルという Tensor とは？ 111 / 420
112. スカラー: 添字 個で値が決まる 階のテンソル ベクトル: 添字 個で値が決まる 階のテンソル ( v = [1, 2, 3], v[0] = 1 ) 行列: 添字 2 個で値が決まる 階のテンソル ( M = [[1, 2], [3, 4]], M[0][0] = 1 ) ⇩ 例えば T = [[[1, 2], [3, 4]], [[5, 6], [7, 8]]] は 階のテンソル ( T[0][0][0] = 1 ) Tensor とは？ 112 / 420
113. 例) RGB 画像は 階のテンソル！ 画素の 番目の色の強 さ ⇩　 枚の画像をまとめたものは 階の テンソル. 番目の画像の 画素 の 番目の色の強さ テンソルの例 画像は Quantifying Blur in Color Images using Higher Order Singular Values - Scientific Figure on ResearchGate. Available from: https://www.researchgate.net/figure/3rd-order-Tensor-representation-of-a- color-image_fig2_307091456 より 113 / 420
114. torch.tensor(data, requires_grad=False) data : 保持するデータ(配列っぽいものならなんでも) リスト, タプル, NumPy配列, スカラ, ... requires_grad : 勾配 (gradient)を保持するかどうかのフラグ デフォルトは False 勾配の計算(自動微分)を行う場合は True にする このあとこいつを微分の計算に使いますよ〜という表明 Tensor 型のつくりかた 114 / 420
115. >>> x = torch.tensor(2.0, requires_grad=True) というスカラを保持する Tensor 型のオブジェクトを作成 >>> x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True) というベクトルを保持する Tensor 型のオブジェクトを作成 Tensor 型 かつては自動微分には Variable という名前の型が使われていて, (現在は Tensor 型に統合)　 Tensor と数学の変数の概念にある程度の対応があることがわかります. 115 / 420
116. >>> x = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], requires_grad=True) という行列を保持する Tensor 型のオブジェクトを作成 ( requires_grad=True とすれば, 勾配計算が可能な Tensor 型を作成できる) Tensor 型 116 / 420
117. これらを勾配計算が可能な Tensor 型として表現してください. 1. 2. 3. (このページの内容は, 実際にやらなくてもやり方がわかればOKです) ↓ 問題の続き次のページへ 演習1 117 / 420
118. (実際にやってください) 4. 整数 を勾配計算が可能な Tensor 型として表現することを試みてください. また,その結果を確認して説明できるようにしてください. ※ 次のページにヒントあり 演習1 118 / 420
119. 1, 2, 3: 講義資料を遡って, torch.tensor の第一引数と作成される Tensor 型の対応を 見比べてみましょう. 4: Pythonのエラーは, ~~たくさん書いてある~ ~~Error: {ここにエラーの端的な内容が書いてある} という形式です."~~Error"というところのすぐ後に書いてある内容を読んでみましょ う. 演習1 ヒント 119 / 420
120. 1~3. # 1 x = torch.tensor(3.0, requires_grad=True) # 2 x = torch.tensor([3.0, 4.0, 5.0], requires_grad=True) # 3 x = torch.tensor([[3.0, 4.0, 5.0], [6.0, 7.0, 8.0]], requires_grad=True) 次のページへ 演習1 解答 120 / 420
121. 4. x = torch.tensor(3, requires_grad=True) としてみると RuntimeError: Only Tensors of floating point and complex dtype can require gradients と出力されます. これは「勾配が計算可能なのは浮動小数点数型と複素数型を格納する Tensor のみである」 という PyTorch の仕様によるエラーです. 演習1: 解答 121 / 420
122. Tensor 型は 「数」なので当然各種演算が可能 x = torch.tensor(2.0, requires_grad=True) 例) 四則演算 x + 2 # -> tensor(4., grad_fn=<AddBackward0>) x * 2 # -> tensor(4., grad_fn=<MulBackward0>) Tensor 型に対する演算 122 / 420
123. 平方根を取ったり や を計算することも可能 torch.sqrt(x) # -> tensor(1.4142, grad_fn=<SqrtBackward0>) torch.sin(x) # -> tensor(0.9093, grad_fn=<SinBackward0>) torch.exp(x) # -> tensor(7.3891, grad_fn=<ExpBackward0>) Tensor 型に対する演算 123 / 420
124. ここまでの内容は別にPyTorchを使わなくてもできること PyTorchは 計算と共に勾配の計算ができる！ 抑えてほしいポイント: requires_grad=True である Tensor 型に対して計算を行うと 行われた演算が記録された Tensor ができる. PyTorch と 自動微分 124 / 420
125. x = torch.tensor(2.0, requires_grad=True) 足し算をする. y = x + 2 PyTorch と 自動微分 125 / 420
126. print(y) これの出力は, tensor(4., grad_fn=<AddBackward0>) ⇩ 「 Add という演算によって作られた」という情報を y が持っている！ PyTorch と 自動微分 126 / 420
127. 普通の Pythonの数値では, x = 2 y = x + 2 print(y) # -> 4 y がどこから来たのかはわからない (値として を持っている だけで、他にはない) PyTorch と 自動微分 127 / 420
128. PyTorch のしている仕事 1. 演算を記録してくれる ⇩ PyTorch と 自動微分 128 / 420
129. PyTorchは backward 関数をつかって 記録された演算を 辿る ことで 勾配を計算できる PyTorch と 自動微分 129 / 420
130. 1. Tensor 型のオブジェクトをつくる x = torch.tensor(2.0, requires_grad=True) 2. 計算を行う y = x + 2 3. backward メソッドを呼ぶ y.backward() すると... backward による勾配計算 130 / 420
131. x.grad に計算された勾配が格納される！！ print(x.grad) # -> tensor(1.) ( の が計算されている ) backward による勾配計算 131 / 420
132. PyTorch のしている仕事 1. 演算を記録してくれる　 ⇩ 2. 記録された演算を辿って 勾配を計算する PyTorch と 自動微分 132 / 420
133. 1. 変数 ( Tensor 型)の定義 2. 計算 3. backward() # 1. 変数(`Tensor` 型)の定義 x = torch.tensor(2.0, requires_grad=True) # 2. 計算 y = x + 2 # 3. backward() y.backward() すると x.grad に計算された勾配が格納される. 自動微分の流れ 133 / 420
134. 定義 計算 backward(), 定義 計算 backward(), 定義 計算 backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 演習2: 100回唱えよう！ 134 / 420
135. 例1) 　の微分 x = torch.tensor(2.0, requires_grad=True) y = y = torch.sin((x + 2) + (1 + torch.exp(x ** 2))) y.backward() print(x.grad()) # -> tensor(-218.4625) 例2) の微分( ) x = torch.tensor(2.0, requires_grad=True) y = x ** 2 z = 2 * y + 3 z.backward() print(x.grad) # -> tensor(8.) ... backward()した変数に対する勾配！(この場合はz) ありとあらゆる演算が自動微分可能 135 / 420
136. x = torch.tensor([1.0, 2.0, 3.0], requires_grad=True) y = 2 * x[0] + 3 * x[1] + 4 * x[2] y.backward() print(x.grad) # -> tensor([2., 3., 4.]) と対応 ベクトル, 行列演算の勾配 136 / 420
137. A = torch.tensor([[1.0, 2.0, 3.0], [4.0, 5.0, 6.0]], requires_grad=True) y = torch.sum(A) y.backward() print(A.grad) # -> tensor([[1., 1., 1.], # [1., 1., 1.]]) と対応 ベクトル, 行列演算の勾配 137 / 420
138. x = torch.tensor(2.0, requires_grad=True) y = torch.tensor(3.0, requires_grad=True) z = 2 * x + 4 * y z.backward() print(x.grad) # -> tensor(2.) print(y.grad) # -> tensor(4.) に対応 多変数関数の微分 138 / 420
139. x = torch.tensor(2.0, requires_grad=True) def f(x): return x + 3 def g(x): return torch.sin(x) + torch.cos(x ** 2) if rand() < 0.5: y = f(x) else: y = g(x) 実際に適用される演算は実行してみないとわからない... が, 適用される演算はどう転んでも微分可能な演算なのでOK ! (if 文があるから, for 文があるから, 自分が定義した関数に渡したから...ということは 関係なく, 実際に Tensor に適用される演算のみが問題になる) 注意: 実際に適用される演算さえ微分可能ならOK 139 / 420
140. 抑えてほしいポイント 任意の(勾配が定義できる)計算を Tensor 型に対して適用すれば常に自動微分可 能 定義→計算→backward() の流れ ベクトル, 行列など任意の Tensor 型について微分可能. 多変数関数の場合も同様 「実際に適用される演算」さえ微分可能ならOK 自動微分 140 / 420
141. 1. の における微分係数を求めよ. (https://oj.abap34.com/problems/autograd-practice-1) 2. の における 勾配を求めよ. (https://oj.abap34.com/problems/autograd-practice-2) 3. の における勾配を求めよ. (https://oj.abap34.com/problems/autograd-practice-3) 演習3: 自動微分 141 / 420
142. 1. x = torch.tensor(3.0, requires_grad=True) y = x ** 2 + 2 * x + 1 y.backward() gx = x.grad print(gx.item()) # -> 8.0 演習3: 解答 スペースの都合上 import torch 　を省略しています 142 / 420
143. 2. import torch x1 = torch.tensor(1.0, requires_grad=True) x2 = torch.tensor(2.0, requires_grad=True) x3 = torch.tensor(3.0, requires_grad=True) y = x1**2 + x2**2 + x3**2 y.backward() print(x1.grad.item()) # -> 2.0 print(x2.grad.item()) # -> 4.0 print(x3.grad.item()) # -> 6.0 演習3: 解答 143 / 420
144. 3. W = torch.tensor([[1.0, 2.0], [2.0, 1.0]]) x1 = torch.tensor([1.0, 2.0], requires_grad=True) y = torch.matmul(torch.matmul(x1, W), x1) y.backward() gx = x1.grad print(*gx.numpy()) # -> 10.0 8.0 演習3: 解答 144 / 420
145. の勾配降下法による最小値の探索 from math import exp x = 3 lr = 0.0005 # xでの微分係数 def grad(x): return 2 * x - exp(-x) for i in range(10001): # 更新式 x = x - lr * grad(x) if i % 1000 == 0: print('x_', i, '=', x) 思い出すシリーズ: 勾配降下法のPyTorchによる実装 145 / 420
146. これまでは,導関数 grad を我々が計算しなければいけなかった ⇨ 自動微分で置き換えられる！ import torch lr = 0.01 N = 10001 x = torch.tensor(3.0, requires_grad=True) def f(x): return x ** 2 - torch.exp(-x) for i in range(10001): y = f(x) y.backward() x.data = x.data - lr * x.grad x.grad.zero_() 勾配降下法のPyTorchによる実装 146 / 420
147. 今ならこれを倒せるはず 最小化してください. https://oj.abap34.com/problems/minimize-difficult-function 147 / 420
148. どうやって PyTorch は微分を計算しているのか？ おまけ: 自動微分のアルゴリズム 148 / 420
149. < 微分係数を計算してください！ ⇩ [いちばん素直な方法] を、小さい値で近似する def diff(f, x): h = 1e-6 return (f(x + h) - f(x)) / h おまけ: 自動微分のアルゴリズム 149 / 420
150. これでもそれなりに近い値を得られる. 例) の における微分係数 を求める. >>> def diff(f, x): ... h = 1e-6 ... return (f(x + h) - f(x)) / h ... >>> diff(lambda x : x**2, 2) 4.0000010006480125 # だいたいあってる 勾配の計算法を考える ~近似編 150 / 420
151. 実際に小さい をとって近似する 「数値微分」 お手軽だけど... 誤差が出る 勾配ベクトルの計算が非効率 数値微分 151 / 420
152. 問題点①. 誤差が出る 1. 本来極限をとるのに小さい を とって計算しているので誤差が出る 2. 分子が極めて近い値同士の引き算に なっていて 桁落ちによって精度が大幅に悪化. 問題点②. 勾配ベクトルの計算が非効率 1. 変数関数の勾配ベクトル を計算するには, 各 について「少し動かす→計算」 を繰り返すので 回 を評価する. 2. 応用では がとても大きくなり, の評価が重くなりがちなので これが 致命的 数値微分 1.3 勾配降下法と機械学習 152 / 420
153. ⇩ いい感じに数式の構造をとって計算したい 数式の構造を捉える 153 / 420
154. 演算は 計算グラフ とよばれる DAG で表現できる の計算グラフ　 計算グラフ 単に計算過程を表しただけのものを Kantorovich グラフなどと呼び, これに偏導関数などの情報を加えたものを計算グラフと呼ぶような定義もあります. (伊里, 久保田 (1998) に詳しく形式的な定義があります) ただ, 単に計算グラフというだけで計算過程を表現するグラフを指すという用法はかな り普及していて一般的と思われます.そのためここでもそれに従って計算過程を表現す るグラフを計算グラフと呼びます. 154 / 420
155. PyTorch も 計算と同時 に 計算グラフを構築 ( torchviz というライブラリを使う と可視化できる！ ) import torchviz x = torch.tensor([1., 2., 3.], requires_grad=True) y = torch.sin(torch.sum(x) + 2) torchviz.make_dot(y) 計算グラフ PyTorch のように計算と同時に計算グラフを構築する仕組みを define-by-run と呼び ます. これに対して計算前に計算グラフを構築する方法を define-and-run と呼びま す. かつての TensorFlow などはこの方式でしたが, 現在では define-by-run が主流で す. 「適用される演算のみが問題になる」という節からわかるように, この方法だと制 御構文などを気にせず柔軟な計算グラフの構築が可能になるからです. 一方で、静的に 計算グラフを作るのはパフォーマンスの最適化の観点からは非常にやりやすいという メリットもあります. 155 / 420
156. (一旦計算グラフを得たものとして)　 この構造から導関数を得ることを考えてみる. 計算グラフによる表現 2.3 自動微分 ─式からアルゴリズムへ 156 / 420
157. [連鎖律] の関数 による合成関数 に対して, 連鎖律 2.3 自動微分 ─式からアルゴリズムへ 157 / 420
158. 目標 のとき, を求める 連鎖律と計算グラフの対応 158 / 420
159. との対応は 連鎖律と計算グラフの対応 159 / 420
160. z Mul x y Sub u Add v 連鎖律と計算グラフの対応 160 / 420
161. z Mul x y Sub u Add v 変数 に対する による偏微分の 計算グラフ上の表現 から への全ての経路の偏微分の総積の総和 は から への全ての経路の集合. は変数 から変数 への辺を表す. 連鎖律と計算グラフの対応 161 / 420
162. 演算を 基本的な演算の合成に分解 すれ ば、 は事前に網羅できる！ ⇨ 全体の勾配が求まる 連鎖律と計算グラフの対応 162 / 420
163. 1. 基本的な演算　を用意しておく. class Add: def __call__(self, x0: Tensor, x1: Tensor) -> Tensor: self.x0 = x0 self.x1 = x1 return Tensor(x0.value + x1.value, creator=self) def backward(self, gy): return gy, gy class Mul: def __call__(self, x0: Tensor, x1: Tensor) -> Tensor: self.x0 = x0 self.x1 = x1 return Tensor(x0.value * x1.value, creator=self) def backward(self, gy): return gy * self.x1, gy * self.x0 OO を使った典型的な自動微分の実装 163 / 420
164. 1. 変数を表すオブジェクトを用意して おき、これの基本的な演算をオーバ ーライドする. class Tensor: def __init__(self, value): ... def __add__(self, other): return Add()(self, other) def __mul__(self, other): return Mul()(self, other) OO を使った典型的な自動微分の実装 164 / 420
165. 実は工夫するとノード数の定数倍で勾配を計算可能！ 詳しくは Julia Tokyo #11 トーク: 「Juliaで歩く自動微分」 をみよう！ PyTorch でもこの方法で勾配を計算している. 連鎖律と計算グラフの対応 165 / 420
166. 166 / 420
167. 機械学習講習会 第四回 - 「ニューラルネットワークの構造」 traP Kaggle班 2024/07/01 167 / 420
168. 第一回 「学習」 第二回 「勾配降下法」 第三回 「自動微分」 振り返りタイム 168 / 420
169. 1. 予測をするには 「モデル」 を作 る必要があった 2. モデルのパラメータを決めるた めにパラメータの関数である損 失関数を導入した 「学習」 169 / 420
170. 1. 複雑になりうる損失関数を最小 にするために 「勾配降下法」 を 使ってパラメータを探索した 「勾配降下法」 170 / 420
171. 1. 自動微分を使うことで, 手で微分 をしなくても勾配を得て勾配降 下法を適用できるようになった 「自動微分」 171 / 420
172. 1. 予測をするには 「モデル」を作る必要があった 2. モデルのパラメータを決めるために, パラメータの関数である損失関数を導入した 3. 損失関数を最小にするパラメータを求めるために勾配降下法を導入した 4. 自動微分によって手で微分する必要がなくなった [← 今ココ！] 振り返りタイム 172 / 420
173. われわれができるようになったこと データさえあれば...誤差を小さくするパラメータを 例え複雑な式でも 例え自分で導関数を見つけられなくても 探しにいけるようになった！ (== 学習ができるようになった！) 第三回までのまとめ 173 / 420
174. ここまでは のかたちを仮定してきた (線形回帰) ⇨ われわれの手法はこの仮定に依存しているか？ ⇩ 依存していない (ように手法を選んだ！) 線形回帰からの飛躍 174 / 420
175. 我々の手法 (自動微分と勾配降下法による学習) で満たすべき条件だったのは... が について 微分可能である のみ！ ⇨ この条件を満たす関数なら どんなものでも • • • • • • • 学習できる！ 線形回帰からの飛躍 175 / 420
176. を変えよう 今日のお話は... 176 / 420
177. 　は, をどんなに 変えても常に直線 ⇨ 直線以外の関係を表現できない 線形回帰からの飛躍 177 / 420
178. でも大丈夫 でも大丈夫 でも大丈夫 ⇨ 直線以外を表現することはできるが 二次曲線 sinカーブ 指数カーブ(?) しか表現できない どんな関数をつかうべきか? 178 / 420
179. これらのパラメータどんなにいじっ ても みたいな関数は表現できない 複雑な関数を表現する方法を考 えよう！ 179 / 420
180. アイデア1: 関数を合成する はそれぞれ非線形 単純な関数 一方, 合成した は　 複雑さを生み出す方法 非線形でなくてはいけないことに注意してください！ は、 が となって結局 の形になってしまいます。 180 / 420
181. アイデア2: 和をとる 複雑さを生み出す方法 181 / 420
182. 三角関数を 3つ用意 ✔︎ それぞれは単純. 複雑さを生み出す方法 182 / 420
183. 一方, 重み付き和をとると そこそこ複雑になっている 複雑さを生み出す方法 183 / 420
184. 簡単めの非線形関数の 1. 合成 2. 和 を考えたら結構複雑なやつも表現できる ぐにゃっとした関数の表現のしかた 184 / 420
185. パラメータとして , , をもつ を考える ⇩ パラメータを変えることによって幅広い表現が得られる確認 185 / 420
186. 　 のとき パラメータを変えることによっ て幅広い表現が得られる確認 186 / 420
187. のとき パラメータを変えることによっ て幅広い表現が得られる確認 187 / 420
188. 和をとる 「基になる関数 • • • • • • 」 にどのような関数を選ぶべきか？ 三角関数? 多項式関数? 指数関数? もっと別の関数? これまでの我々のアプローチを思い出すと... 変化させるのが可能なところはパラメータにして, 学習で求める」 「基になる関数」はどう選ぶべきか？ 188 / 420
189. 「基になる関数」も 学習で求めよう 「基になる関数」はどう選ぶべきか？ 189 / 420
190. ニューラルネットワーク ニューラルネットワーク 190 / 420
191. [事実1] 最近流行りの機械学習モデル はたいていニューラルネット ワークをつかっている ニューラルネットワーク 上の画像は ChatGPT のロゴ. 中央の画像は https://diamond.jp/articles/-/241828 より. Ponanza と佐藤天彦名人の対局. 下の画像は StableDiffusion という画像生成モ デルが生成した画像. 191 / 420
192. [事実2] ある程度以上複雑なタスクで はニューラルネットワークが 最も優れた性能を示すことが 多い ニューラルネットワーク グラフはILSVRC という画像認識の大会でニューラルネットワークを使ったモデル (AlexNet) が登場し, 圧倒的な精度で優勝した際のスコア. https://medium.com/coinmonks/paper-review-of-alexnet-caffenet-winner-in- ilsvrc-2012-image-classification-b93598314160 から. 192 / 420
193. 1. ニューラルネットワークの基本的な概念の整理 2. 全結合層の理解 今日の内容 193 / 420
194. 基本単位: レイヤー ニューラルネットワークは 「レイヤー」と呼ばれる基本的な関数の合成によって構成 されるモデル ニューラルネットワークの構造 194 / 420
195. 入力層 入力を受け取る部分 出力層 出力を出力する部分 中間層(隠れ層, hidden layer) それ以外 ⇩ データの流れは, →入力層→中間層...→出力層 = ニューラルネットワークの構造 195 / 420
196. PyTorch本体ででデフォルトで定義されているものだけで 160個以上? [1] いろいろなレイヤー [1] torch.nn.Module のサブクラスの数を数えました.正確な数でないかもしれません. 196 / 420
197. もっとも普遍的・基本のレイヤー 先に全ての情報を書くと.... 全結合層 (Linear, Dense層) パラメータ と 各レイヤーが固有にもつ活性化関数 を用いて 入力として を受け取り, を出力する. 全結合層 (Linear, Dense層) 197 / 420
198. (これでわかったら苦労しないので、一つずつ見ていきます) 全結合層 (Linear, Dense層) 198 / 420
199. 1. 個の入力を受け取り, 個出力する 2. 複雑な関数を表現するアイデア... 1. 非線形関数の合成 2. 和をとる をする 全結合層がしていること 199 / 420
200. 1. 個の入力を受け取り, 個出力する パラメータ と 各レイヤーが固有にもつ活性化関数 を用いて 入力として を受け取り, を出力する. 丁寧に計算の次元を追ってみよう！ 全結合層がしていること 200 / 420
201. 演算を 回繰り返す ( 次元ベクトル → , → , → , → 次元ベクトルへと変換されながら 計算が進んでいく) 合成 201 / 420
202. 1. 複雑な関数を表現するアイデア... 1. 非線形関数の合成 2. 和をとる をする 全結合層がしていること 202 / 420
203. 出力前に通す 非線形関数 ( ) シグモイド関数 ReLU関数 tanh関数 など (大量に存在) 活性化関数とは？ 203 / 420
204. 最後に非線形関数を通すことで全結合層が非線形関数になる. 今できたこと 全結合層を非線形にする. ⇩ これを合成している！ 非線形関数の合成 なぜ活性化関数が必要か？ 204 / 420
205. 非線形関数の合成を繰り返す ⇨ 複雑な関数を表現 アイデア1. 合成 205 / 420
206. n m i 個の出力のひとつに注目してみる. ⇩ アイデア2. 和をとる 206 / 420
207. は, 非線形関数の和をとる と 同じことをしている！！ 分解して考えると 207 / 420
208. 各層の入力 はそれまでの層で を通ってきたもの！ は 非線形 分解して考えると 208 / 420
209. ⬇︎ 非線形関数の重みつき和 ⬇︎ 複雑な非線形関数を表現できる！ + さらにそれを非線形関数に通す 複雑な関数が生まれていた 209 / 420
210. + 各層で和をとる「基になる関数」は、 それまでの層のパラメータによって変化する 出力層 210 / 420
211. 「基になる関数」も 学習で求めよう というわけで 211 / 420
212. とくに 全結合層のみからなるニューラルネットワークを 多層パーセプトロン (Multi Layer Perceptron, MLP) という MLP 212 / 420
213. 用語 意味 MLP (Multi Layer Perceptron) 全結合層のみからなるニューラルネットワーク DNN (Deep Neural Network) 複数の隠れ層を持つニューラルネットワーク ANN (Artificial Neural Network) 人工ニューラルネットワーク.本来の意味のニューラルネッ トワーク(動物の神経回路) と区別するためこういう名前が使 われることがある そのほかの用語たち 213 / 420
214. そもそも直線をやめたくなった動機: < 直線だけしか表現できないのは困る. < いろいろな関数が表現できるようになりたい. ⇩ どれくらいの関数が表現できるようになったのか？ ニューラルネットワークの性質 214 / 420
215. 結論 直線 ⇨ なんでも ※ ニューラルネットワークの万能近似性 ※ ざっくりとした表現です. 215 / 420
216. ニューラルネットワークの万能近似定理 (普遍性定理) 隠れ層を一つ持つニューラルネットワークは, 任意の連続関数を表現できる ※ ニューラルネットワークの万能近似 ※ ざっくりとした表現です. 216 / 420
217. 我々の学習手法は, というモデルの構造自体に直接依存している わけではなかった というモデルの構造では直線しか表現することができないので, 違う形を考えることにした 「基になる」簡単な関数の 合成 と 和 を考えることでかなり複雑な関数も表現で きることがわかった 「基になる」関数の選び方を考える上で, この関数自体もパラメータによって変化 させるモデルとしてニューラルネットワークを導入した ニューラルネットワークは非常に幅広い関数を表現できることがわかった 今日のまとめ 217 / 420
218. ニューラルネットワークの表現能力は 1980年代後半 ~ 1990年代後半くらいまで 盛んに研究 いろいろな条件でいろいろな結果を得ている ここではおそらく最も有名である Cybenko による定理 [1] を紹介する 発展的話題:万能近似の(直感的な) 説明 • • [1] Cybenko, George. "Approximation by superpositions of a sigmoidal function." Mathematics of control, signals and systems 2.4 (1989): 303-314. 218 / 420
219. 準備 定義1. シグモイド型関数 を満たす関数を「シグモイド型関数」と呼ぶ. として, を 上の連続関数全体の集合とする. 準備 219 / 420
220. 定理 (Cybenko, 1989) 任意の に対して,ある が存在して 主張 220 / 420
221. 平易に書くと, どんな連続関数も隠れ層が一つのニューラルネットワークで十分に近似できる 主張 221 / 420
222. はシグモイド型関数 ⇨ をものすごく大きくするとどうなるか？ ステップ1. シグモイド型関数をつかった階段関数のつくりかた 222 / 420
223. とする. すると, が少しでも正なら 負なら . 証明ステップ1 223 / 420
224. は とすると が少しでも正ならば , そうでなければ になる. ⇨ を適当に調整すれば, 狙った点 で とすることができる.　(例: なら ) さらに を負の非常に大きい数にすると, 逆のバージョンも作れる. 証明ステップ1 224 / 420
225. すると 正の大きな数によってステップ関数にしたものと 負の大きな数によってステップ関数にしたものを足し合わせることで 矩形関数を作ることができる！ 証明ステップ2. 矩形関数の作り方 225 / 420
226. これさえできればもうOK 連続関数を全て矩形関数の和として みればよい. 証明ステップ3. 226 / 420
227. 任意の連続関数を近似できるモデルはニューラルネットワークだけ？ ⇨ 全然ふつうにNO. 「万能近似ができるからニューラルネットワークがよくつかわれる」 + あくまでそのような が存在するという主張であって、 それを求める方法については何ら保証していない ⇩ ニューラルネットワークの優位性を考えるなら,もうすこし議論を進めていく必要があ る 万能近似できるからいい？ 227 / 420
228. この結果の主張: 十分幅が広い「隠れ層」が一つあれば十分 世の中の主張: たくさんの層があるNNがよく機能する 　 ⇩　なぜ？ A. 層を深くすると指数関数的に表現力が上 がり, 幅を広くすると多項式的に表現力が上 がる. [1] 「深さ」は必要？ [1] Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." Advances in neural information processing systems 27 (2014). 画像も同論文より 228 / 420
229. 229 / 420
230. 機械学習講習会 第五回 - 「ニューラルネットワークの学習と評価」 traP Kaggle班 2024/07/03 230 / 420
231. 我々の学習手法は, というモデルの構造自体に直接依存している わけではなかった というモデルの構造では直線しか表現することができないので, 違う形を考えることにした 「基になる」簡単な関数の 合成 と 和 を考えることでかなり複雑な関数も表現で きることがわかった 「基になる」関数の選び方を考える上で, この関数自体もパラメータによって変化 させるモデルとしてニューラルネットワークを導入した ニューラルネットワークは非常に幅広い関数を表現できることがわかった 振り返りタイム 231 / 420
232. ニューラルネットワークは非常に多くのパラメータをもつ (例: 全結合層はそれぞれ と のパラメータを持つ) ⇩ 学習はそれなりに難しいタスク DNNの学習はむずかしい？ 232 / 420
233. ニューラルネットワーク研究の歴史 を遡ってみると...? ⇩ 実は真空管で計算をしている時代 からニューラルネット(の原型)が作 られて計算されていた DNNの学習はむずかしい？ 右は真空管を使ったパーセプトロンの計算機を作っている Frank Rosenblatt. 10ニューロン程度のパーセプトロンを作っていたらしい. (画像は https://news.cornell.edu/stories/2019/09/professors-perceptron- paved-way-ai-60-years-too-soon より) 233 / 420
234. 1986年ごろ: 多層パーセプトロン → ニューラルネットで全部表現できる！すごい！！ → 数学的な研究も進み始める (Hecht-Nielsen, 1987 や Cybenko, 1989 など) DNNの学習はむずかしい？ 234 / 420
235. 1990年 ~ 2000年代 ニューラルネットワークを大きくしていくと学習がとたんに難しくなる (= まともなパラメータを獲得してくれない) ⇩ 研究も下火に DNNの学習はむずかしい？ 235 / 420
236. Geoffrey Hinton DBN (Deep Belief Network) やオートエンコーダに関する 研究 [1][2] を通じて DNN の学習の安定化に大きく貢献 学習手法の進化 [1] Hinton, Geoffrey E., Simon Osindero, and Yee-Whye Teh. "A fast learning algorithm for deep belief nets." Neural computation 18.7 (2006): 1527-1554. [2] Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. "Reducing the Dimensionality of Data with Neural Networks." Science, vol. 313, no. 5786, 2006, pp. 504-507. doi:10.1126/science.1127647. 236 / 420
237. 活性化関数の進化 (ReLU) Dropout Batch Normalization オプティマイザの進化 (Adam, RMSprop ...) ⇩ DNN の学習を比較的安定して行えるように 学習手法の進化 237 / 420
238. DNN の学習を安定的に, 効率的に行う技法を知る 今日のおしながき① 238 / 420
239. 微分係数 は における接線の傾き ⬇︎ 方向に関数を すこし動かすと関数の値はす こし小さくなる 勾配降下法の復習 239 / 420
240. 勾配降下法 関数 と初期値 が与えられたとき, 次の式で を更新するアルゴリズム ( は学習率と呼ばれる定数) 勾配降下法の復讐 240 / 420
241. 勾配降下法... をニューラルネットワークに適用するための色々な技法 初期化 ( を決める) ⇩ 計算 ( を計算する) のそれぞれをカスタマイズします 今日やること1. 「ニューラルネットワーク向け」の学習 241 / 420
242. 勾配降下法... は 自分でが決めなければいけなかった！ 今日やること1. 初期値 242 / 420
243. 一般の • • • を最小化するとき ⇨ 初期値として普遍的にいい値はない ⇨ NNは構造が固定されているのでいい初期値を考えられる 今日やること1. 初期値 243 / 420
244. 1. Xavierの初期値 2. Heの初期値 初期値の決め方 244 / 420
245. Xavier (Glorot) の初期値 初期値の決め方 Glorot, Xavier, and Yoshua Bengio. "Understanding the difficulty of training deep feedforward neural networks." Proceedings of the thirteenth international conference on artificial intelligence and statistics. JMLR Workshop and Conference Proceedings, 2010. 245 / 420
246. 活性化関数にとって得意なところで計算が進んでほしい. Xavierの初期値: 気持ち 246 / 420
247. 出力が または に 貼り付く • • • • が大きいと勾配がほぼ シグモイド関数の性質 247 / 420
248. ⇩ 勾配がほとんど だと 学習がなかなか進まなくなる 勾配消失 248 / 420
249. 全結合層は非線形関数の和をとって複雑な関数を作っていた 思い出すシリーズ: 複雑さを生む 249 / 420
250. ほとんど同じような「基になる関数」をとっても効率がわるい 思い出すシリーズ: 複雑さを生む 250 / 420
251. 出力と勾配両方 について 上下に貼り付く (分散大) ほとんど同じ値 (分散小) にならないように 分散を維持するようにすると がいい初期値になる 各層で分散を維持する 251 / 420
252. シグモイド関数はよくない性質 ( 勾配消失) がある！ ⇨ 次第に が使われるようになる ⇩ ReLU 向けの初期値 (導出は Xavier と一緒) He (Kaiming) の初期値 初期値の決め方 He, Kaiming, et al. "Delving deep into rectifiers: Surpassing human-level performance on imagenet classification." Proceedings of the IEEE international conference on computer vision. 2015. 252 / 420
253. モデルの構造 (とくに活性化関数) に よって適切な初期値のとり方が変わ ってくる！ 例) SIREN [1] という活性化関数に を使うモデルは がいいとされて いる 導出から自然にわかること [1] Sitzmann, Vincent, et al. "Implicit neural representations with periodic activation functions." Advances in neural information processing systems 33 (2020): 7462-7473. 画像も同論文より引用 253 / 420
254. 1. 初期値で頑張る 2. モデルの中で直してしまう ちゃぶ台ひっくり返し 254 / 420
255. Batch Normalization 入力をミニバッチごとに正規化するレイヤー ⇨ 学習の効率化にかなり役立ち 初期化の影響を受けにくくする • • • • • • • • • • • • • • Batch Normalization Ioffe, Sergey, and Christian Szegedy. "Batch normalization: Accelerating deep network training by reducing internal covariate shift." International conference on machine learning. pmlr, 2015. 255 / 420
256. 実は決定論的にやってもよい？ ⇨ ZerO Initialization [1] 乱数生成をやめると再現性が向上してうれしい. おまけ: 「乱数」は初期値に必要か？ [1] Zhao, Jiawei, Florian Schäfer, and Anima Anandkumar. "Zero initialization: Initializing neural networks with only zeros and ones." arXiv preprint arXiv:2110.12661 (2021). 256 / 420
257. 適切な初期値を選ぶことで学習の安定性を向上させることができる Xavierの初期値, Heの初期値などがよく使われる 一方, 近年は初期値にそこまで神経質にならなくてもよくなりつつある さらに一方で (!?) 特殊なネットワークではそれに適した初期値を使うとよい 初期値のまとめ 257 / 420
258. 初期化 ( を決める)　← Done! ⇩ 計算 ( を計算する) ミニバッチ学習 258 / 420
259. の計算はできるようになった ⇩ われわれは自動微分が使えるので これで も計算できる ⇩ 計算の過程もカスタマイズする！ オプティマイザ 259 / 420
260. 確率的勾配降下法 (SGD) データの 一部 をランダムに選んで, そのデータに対する勾配を使ってパラメータを更新する 確率的勾配降下法 260 / 420
261. 局所最適解 ... 付近で最小 大域最適解 ... 全体で最小 思い出すシリーズ: 局所最適解 261 / 420
262. https://www.telesens.co/loss- landscape-viz/viewer.html で見て みよう！ ( 実際に右の3次元空間上で探索しているわけで はないです！！！) NNの「損失平面」 Li, Hao, et al. "Visualizing the loss landscape of neural nets." Advances in neural information processing systems 31 (2018). 画像も同論文より 262 / 420
263. 谷からの脱出方法 ⇨ ランダム性 • • • • • を入れる 局所最適解にハマらないようにするには？ 263 / 420
264. データを選ぶときに ランダム性が入る！ ⇩ 局所最適解にトラップされない 局所最適解にハマらないように するには？ 264 / 420
265. プレーン • • • • な勾配降下法の更新式 更新式の改善 265 / 420
266. 学習率に鋭敏でなく 安定して 高速に 高い性能を得る ためにいろいろなオプティマイザが 提案されている (PyTorch 本体には13個) オプティマイザ 画像は https://pytorch.org/docs/stable/optim.html より (2024年7月3日) 266 / 420
267. Momentum オプティマイザの工夫の例: Momentum 267 / 420
268. Momentum 268 / 420
269. の最小値 を勾配降下法で求めてみる 局所最適解の谷の例 269 / 420
270. 谷を往復し続けて収束の効率がめち ゃくちゃ悪い アニメーション: https://abap34.github.io/ml- lecture/ch05/img/ch05_gradient_ descent.gif 局所最適解の谷の例 270 / 420
271. Momentum 勢い • • を定義して,前の結果も使って更新する 「勢い」の導入 271 / 420
272. なにもしない SGD より 早く収束！ アニメーション: https://abap34.github.io/ml- lecture/ch05/img/ch05_momentu m.gif Momentum による更新 momentum で遊べるサイトです. おすすめです https://distill.pub/2017/momentum/ 272 / 420
273. 初期化 ( を決める) ⇩ 計算 ( を計算する) 学習 273 / 420
274. 「学習」部分は完了 モデルを「評価」する 274 / 420
275. いよいよ本格的なモデルが作れそうになってきた！ ⇨ その前に モデルの「良さ • • 」 についてもう一度考えてみる 「良さ」を再考する 275 / 420
276. 例) アイスの予測ができるモデルが完成した！！！ ⇨ こいつの「良さ」をどう定義するべきか？ 「良さ」を再考する 276 / 420
277. [定義] これまでの「良さ」 モデルの「良さ」とは「損失関数の小ささ」である！ これはすでに観測された値をもとに計算されるパラメータの関数で, 学習によってこの良さをあげるのがわれわれの目的だ！ 今までの「良さ」　〜損失関数〜 277 / 420
278. 本当にこれでよかったのか？ 疑問 278 / 420
279. 例) アイスの予測ができるモデルが完成した！！！ 学習の際に使ったデータは {(20℃, 300円), (25℃, 350円), (30℃, 400円), (35℃, 450円), (40℃, 500円)} ⇨ さぁこれを使ってアイスの値段を予測するぞ！ ⇨ 来るデータは.... {22℃, 24℃, 25℃, } ※ 重要: これらのデータは学習段階では存在しない 学習した後のことを考えよう 279 / 420
280. なんか来月の予想平均気温30度って気象庁が言ってたな. 来月の売り上げが予想できたらどのくらい牛乳仕入れたらいいかわかって嬉しい な. ⇩ 本当の目的は 未知のデータに対して精度良く推論すること 真の目的は？ 280 / 420
281. 実はわれわれが勝手にしていた非常に重要かつ大胆な仮定 「将来も同じような入力がくる • • • • • • • • • • • • • 」 281 / 420
282. 未知のデータ に対しての誤差 は最小化できない (未知だから) かわりに既知のデータ に対しての誤差 を最小化する ⇩ なぜなら, 将来のデータと過去のデータは大体変わらないだろうから. われわれが本当にしていたこと 282 / 420
283. ほんとうに高めたいもの: 未知のデータへの予測性能 これを新たに良さとしたい！！ 「良さ」の再定義 283 / 420
284. バリデーション 学習データを分割して一部を学習に使い, 残りを検証に使う 未知のデータに対する性能を検証する 284 / 420
285. 学習データ { (20℃, 300円), (25℃, 350円), (30℃, 400円), (35℃, 450円), (40℃, 500円) } ⇩ 分割 学習データ { (20℃, 300円), (25℃, 350円), (30℃, 400円) } 検証用データ { (35℃, 450円), (40℃, 500円) } 未知のデータに対する性能を検証する 285 / 420
286. 学習データ { (20℃, 300円), (25℃, 350円), (30℃, 400円) } のみで学習をおこなう ⇩ (35℃, 450円), (40℃, 500円)に対して推論を行い,誤差を評価 400円,500円と推論したとすると, 「検証用データに対する」平均二乗誤差は 未知のデータに対する性能を検証する 286 / 420
287. 学習データ: { (20℃, 300円), (25℃, 350円), (30℃, 400円) } のみで学習! 検証用データはパラメータの更新に使わず誤差の計算だけ ⇩　つまり 擬似的に 未知のデータ • • • • • • を作成して,「未知のデータに対する性能」を評価 未知のデータに対する性能を検証する 287 / 420
288. われわれの真の目標は 未知のデータをよく予測すること ⇨ モデルの「良さ」は 「検証用データに対する性能」 何が起きたか？ 288 / 420
289. これの計算結果に基づいてモデルを変更することはない. 単に評価するだけ ⇩ 計算さえできればいいので,われわれの学習手法で損失関数が満たす必要があった 微分可能 などの条件は必要ない！ ⇩ もっといろいろなものが使える. 例) 正解率, 絶対誤差　etc.... 損失関数と評価指標 289 / 420
290. この検証用データに対して定義される「良さ」を 「評価指標」 という. つまり 損失関数の値を最小化することで「評価指標を改善する」のが目標. 損失関数と評価指標 290 / 420
291. 注意 : これらは学習とは全く独立した作業. ⇨ これの計算結果に基づいてモデルを変更することはない. 単に評価するだけ ⇩ 逆にいえば 評価指標は直接最適化されない！ ⇩ 損失関数を最小化することで評価指標が改善するように損失関数を考える. 損失関数と評価指標 291 / 420
292. 292 / 420
293. 損失関数の値はあくまで「訓練データに対してこれくらいの誤差になるよ」とい う値 ほんとうに興味があるのは, 知らないデータに対してどれくらいうまく予測できる か これの検証のために擬似的に学習に使わない未知のデータを作り, 未知のデータに 対する予測の評価をする ちょっとまとめ バリデーションの手法や切り方についてはいろいろあり, 話すとかなり長くなりますのでここでは割愛します. 例えば Cross Validation や時系列を意識した Validation, テストデータとバリデーションデータの性質を近づけるための手法などもあります。 詳しくは 8月に実施予定の講習会で扱われるはずです！ 293 / 420
294. バリデーションデータは学習データからランダムにとってきたもの. ⇨ 学習データと評価の結果が異なることってあるの？　 ⇩ はい. バリデーションと過学習 294 / 420
295. にちょっと だけ誤差を載せたもの 過学習 295 / 420
296. 学習データと検証データに分ける 過学習 296 / 420
297. NN の万能近似性から, 常に損失を にできる. 振り返り 前期の線形代数の知識だけで証明できるので暇な人はやってみてください！ もう少し正確に書くと 「"矛盾のないデータ"　( 　が成立している) なら任意の に対して となる NN が存在する」 を示してください 297 / 420
298. 学習データに対して損失関数を 最小化ヨシ！ ⇩ 損失関数は小さくできたが バリデーションデータには全く 当てはまっていない！！ 過学習 298 / 420
299. 過学習 (過剰適合, overfitting, overlearning) 学習データに過剰に適合して しまい, 未知のデータに対す る予測性能が低下してしまっ ている状態. 過学習 299 / 420
300. 学習曲線 (learning curve) 横軸に学習のステップ 縦軸に損失関数の値 をプロットしたもの ⇨ 学習曲線を見て過学習を見つける 学習曲線 (learning curve) 300 / 420
301. 「AI作りました！ちなみにどのくらいの精度かはわからないです笑」 だと実運用はできない ⇩ きちんとバリデーションを行うことで, 未知のデータに対する予測性能を評価することが大切. 逆に, 適切にバリデーションを行なっていないが故の嘘に気をつけよう！！ バリデーションの重要性について 301 / 420
302. 2019年の京大の研究 [1] 「過去の気温のデータから気温変化 を NN で予測して, 検証用データで 97% の精度で上がるか下がるかを的 中できるようになりました！」とい うもの 不適切なバリデーションの例 Ise, T., & Oba, Y. (2019). Forecasting Climatic Trends Using Neural Networks: An Experimental Study Using Global Historical Data. Frontiers in Robotics and AI, 6, 446979. https://doi.org/10.3389/frobt.2019.00032 302 / 420
303. Q. どこが不適切でしょう？ ... Randomly selecting 25% of images for validation .... 不適切なバリデーションの例 303 / 420
304. A. 本来モデルが得るはずがない「未来の情報」が学習時に混入している！ バリデーションはなぜ未知のデータに対する予測性能を疑似的に計算できていたか？ 未知のデータを予測するときの状況を 擬似的に再現 • • • • • • していたから。 不適切なバリデーションの例 304 / 420
305. 時系列なら 未知の情報に対する精度 2024年以降のデータに対する精度 1990年のデータが検証用データに入っているなら 1991年以降のデータが学習データ に入っていると不当に性能を高く見積もってしまう 不適切なバリデーションの例 305 / 420
306. Kaggle をはじめとするデータ分析コンペは,「未知の情報」を予測するモデルの精度 を競う ⇨ 試行錯誤している手法の「未知の情報を予測する能力」をきちんと評価することが 大切！ (詳しくは第七回) バリデーションの重要性について 306 / 420
307. bestfitting はこう言っています バリデーションの重要性について 307 / 420
308. ニューラルネットワークの学習は培われてきたいろいろな工夫があった バリデーションを行うことで未知のデータに対しての予測性能を評価することが できる. バリデーションデータに対して行う評価は学習とは独立した作業なので, 微分可能 であったり微分の性質が良い必要はなくいろいろな評価指標を用いることができ る. 訓練データのみに過剰に適合した状態のことを「過学習」といい, 学習曲線に目を 光らせるととでこれに気をつける必要があった 適切にバリデーションを行うのは 非常に重要 今日のまとめ 308 / 420
309. 機械学習講習会 第六回 - 「ニューラルネットワークの実装」 traP Kaggle班 2024/07/10 309 / 420
310. PyTorch を使って実際にある情報を予測するニューラルネットワークを実装しま す データの読み込みからモデルの構築, 学習, 予測までを一通りやってみます お題として今日から始めるコンペのデータを使います. 1 Sub まで一気に行きます！！ 今日すること 310 / 420
311. 先に、コンペのルールなどの話をします https://abap34.github.io/ml-lecture/supplement/competetion.pdf (※ あとからこの資料を読んでいる人は飛ばしても大丈夫です) はじめに 311 / 420
312. 機械学習講習会用のオンラインジャッジを作った @abap34 は困っていました. 攻撃はやめてくださいと書いてあるのにひっきりなしに攻撃が仕掛けられるからです. 部員の個人情報とサーバとモラルが心配になった @abap34 は, 飛んでくる通信を機械 学習を使って攻撃かを判定することで攻撃を未然に防ぐことにしました. あなたの仕事はこれを高い精度でおこなえる機械学習モデルを作成することです. 今回のコンペのお題 ~ あらすじ ~ ※ 架空の話です. 僕の知る限りジャッジサーバへの攻撃は今のところきていないです. 312 / 420
313. 通信ログから必要そうな情報を抽出したもの (詳細は Data タブから) 接続時間 ログイン失敗回数 過去2秒間の接続回数 特別なユーザ名 ( root , admin guest とか) でログインしようとしたか？ データ 313 / 420
314. train.csv 学習に使うデータ train_tiny.csv ( 時間と説明の都合上 今日はこれを使います) 学習に使うデータの一部を取り出し,一部を削除 test.csv 予測対象のデータ test_tiny.csv ( 時間と説明の都合上 今日はこれを使います) 予測対象のデータの欠損値を埋めて,一部のカラムを削除 sample_suboldsymbolission.csv 予測の提出方式のサンプル (値はでたらめ) データ 314 / 420
315. 1. データの読み込み 2. モデルの構築 3. モデルの学習 4. 新規データに対する予測 5. 順位表への提出 全体の流れ 315 / 420
316. 1-0. データのダウンロード ⇩ 1-1. データの読み込み ⇩ 1-2. データの前処理 ⇩ 1-2. PyTorchに入力できる形に 全体の流れ1 ~モデルに入力するまで 316 / 420
317. セルに以下をコピペして実行 !curl https://www.abap34.com/trap_ml_lecture/public-data/train_tiny.csv -o train.csv !curl https://www.abap34.com/trap_ml_lecture/public-data/test_tiny.csv -o test.csv !curl https://www.abap34.com/trap_ml_lecture/public-data/sample_submission.csv -o sample_submission.csv 1-0. データのダウンロード Jupyter Notebook では,先頭に ! をつけることで,シェルコマンドを実行できます. 317 / 420
318. 左の > train.csv, test.csv, sample_submission.csv で表が見えるようになって いたら OK！ 1-0. データのダウンロード 今回のコンペのデータは ISCX NSL-KDD dataset 2009 [1] をもとに大きく加工したものを使用しています。 [1] M. Tavallaee, E. Bagheri, W. Lu, and A. Ghorbani, “A Detailed Analysis of the KDD CUP 99 Data Set,” Submitted to Second IEEE Symposium on Computational Intelligence for Security and Defense Applications (CISDA), 2009. 318 / 420
319. pd.read_csv(path) で, path にあるcsvファイルを読み込める # pandas パッケージを `pd` という名前をつけてimport import pandas as pd # これによって, pandas の関数を `pd.関数名` という形で使えるようになる train = pd.read_csv("train.csv") test = pd.read_csv("test.csv") 1-1. データの読み込み パスはコンピュータ上のファイルやフォルダへの経路のことです. 今回は train.csv と test.csv がノートブックと同じ階層にあるので, train.csv と test.csv までの経路は,ファイル名をそのまま指定するだけで大丈夫です. ほかにも たとえば ../train.csv と指定すると ノートブックの一つ上の階層にある train.csv というファイルを読み込みます. 319 / 420
320. 1-1. データの読み込み セルに単に変数をかくと中身を確認できます！　(Jupyter Notebook の各セルは最後に評価された値を表示するためです) さっとデバッグするときに便利です. 中身がわからなくなったらとりあえず書いて実行してみましょう. 320 / 420
321. 今まで ⇩ x = [1, 2, 3, 4, 5] y = [2, 4, 6, 8, 10] def loss(a): ... ⇩ 今回も入力と出力 (の目標) にわけておく 1-1. データの読み込み 321 / 420
322. train['カラム名'] で「カラム名」という名前の列を取り出せる ⇩ 今回の予測の目標は train['class'] ⇩ 1-1. データの読み込み 322 / 420
323. train_y = train['class'] ⇨ train_y に攻撃? or 通常? の列 が入る 1-1. データの読み込み 323 / 420
324. 機械学習モデルは 直接的には • • • • • 数以外 は扱えないので数に変換しておく. train_y = train['class'].map({ 'normal': 0, 'attack': 1 }) 1-1. データの読み込み 324 / 420
325. 逆に, モデルに入力するデータは train から さっきの列 (と id ) を除いたもの！ train.drop(columns=['カラム名']) を使うと train から「カラム名」という名前の 列を除いたもの を取り出せる ⇩ 今回は train.drop(columns=['id', 'class']) 1-1. データの読み込み 325 / 420
326. train_x = train.drop(columns=['id', 'class']) test_x = test.drop(columns=['id']) ⇨ train_x にさっきの列と id を 除いたもの, test_x に id を除いた ものが入る 1-1. データの読み込み 326 / 420
327. データの読み込みが完了! 今の状況整理 train_x モデルに入力するデータ(接続時間,ログイン失敗回数,etc...) train_y モデルの出力の目標(攻撃? 通常?) test_x 予測対象のデータ が入ってる 1-1. データの読み込み 327 / 420
328. データをそのままモデルに入れる前に処理をすることで学習の安定性や精度を向上 (極端な例... 平均が の列があったらすぐオーバーフローしてしまうので平均を引 く) 今回は各列に対して「標準化」をします 1-2. データの前処理 328 / 420
329. 標準化 ( は平均, は標準偏差) 1. 平均 のデータの全ての要素から を引くと,平均は 2. 標準偏差 のデータの全ての要素を で割ると,標準偏差は ⇨ 標準化で 平均を0,標準偏差を1 にできる 1-2. データの前処理 初期化の際の議論を思い出すとこのようなスケーリングを行うことは自然な発想だと思います. NN の入力の標準化については, LeCun, Yann, et al. "E cient BackProp." Lecture Notes in Computer Science 1524 (1998): 5-50.　にもう少し詳しく議論が載っていたので気になる 人は読んでみてください. 329 / 420
330. scikit-learn というライブラリの StandardScaler クラスを使うと, 簡単に標準化できる！ # sklearn.preprocessing に定義されているStandardScalerを使う from sklearn.preprocessing import StandardScaler scaler = StandardScaler() # 計算に必要な量 (平均,標準偏差) を計算 scaler.fit(train_x) # 実際に変換 train_x = scaler.transform(train_x) test_x = scaler.transform(test_x) 1-2. データの前処理 scalar.fit によって引数で渡されたデータの各列ごとの平均と標準偏差が計算され, scalar に保存されます. そして, scalar.transform によってデータが実際に標準化されます. 勘が いい人は「 test に対しても train_x で計算した平均と標準偏差を使って標準化しているけど大丈夫なのか？」と思ったかもしれないですね. 結論から言うとそうなのですが意図して います. ここに理由を書いたら信じられないくらいはみ出てしまったので, 省略します. 興味がある人は「Kaggleで勝つデータ分析の技術」p.124 などを参照してみてください. 330 / 420
331. train_x test_x などを実行してみると,確かに何かしらの変換がされている！ (ついでに結果がテーブルから単なる二次元配列 ( np.ndarray ) に変換されてる) 1-2. データの前処理 最初のテーブルっぽい情報を持ったまま計算を進めたい場合は, train_x[:] = scaler.transform(train_x) のようにすると良いです. 331 / 420
332. ので train_y もここで中身を取り出して np.ndarray にしておく. 1. train_y.values で 中身の値を取り出せる. 2. arr.reshape(-1, 1) で arr を の形に変換できる train_y = train_y.values.reshape(-1, 1) 1-2. データの前処理 np.ndarray のメソッド reshape はその名の通り配列の形を変えるメソッドです. そして -1 は「他の次元の要素数から自動的に決定する」という意味です. 例えば, の配列に対して .reshape(-1, 2) とすると にしてくれます. (2次元目が と確定しているので勝手に と定まる) 332 / 420
333. バリデーションのためにデータを分割しておく 1-2. データの前処理 - バリデーション バリデーションを前処理と呼ぶ人はいないと思いますがここでやっておきます. 333 / 420
334. sklearn.model_selection.train_test_split による分割 train_test_split(train_x, train_y, test_size=0.3, random_state=34) train_x , train_y : 分割するデータ test_size : テストデータの割合 random_state : 乱数のシード 重要！！ 1-2. データの前処理 - バリデーション 334 / 420
335. scikit-learn の train_test_split を使うと簡単にデータを分割できる！ from sklearn.model_selection import train_test_split train_x, val_x, train_y, val_y = train_test_split(train_x, train_y, test_size=0.3, random_state=34) 1-2. データの前処理 - バリデーション 335 / 420
336. 乱数に基づく計算がたくさん ⇩ 実行するたびに結果が変わって, めちゃくちゃ困る ⇩ 乱数シードを固定すると, 毎回同じ結果になって 再現性確保 • • • • • 乱数シードを固定しよう！！ 実際はそんな素朴な世の中でもなく, 環境差異であったり, 並列処理をしたとき (とく に GPU が絡んだとき) には単に乱数シードを固定するような見た目のコードを書いて も結果が変わりがちで, 困ることが多いです. 対処法もいろいろ考えられているので, 気になる人は jax の乱数生成の仕組みなどを調べてみると面白いかもしれません。 336 / 420
337. ( train_x , train_y ) を 学習データ:検証データ = 7:3 に分割 from sklearn.model_selection import train_test_split train_x, val_x, train_y, val_y = train_test_split(train_x, train_y, test_size=0.3, random_state=34) 結果を確認すると... train_x.shape val_x.shape 確かに 7:3 くらいに分割されていることがわかる 1-2. データの前処理 - バリデーション 337 / 420
338. 　PyTorchで扱える形にする 1-3. PyTorchに入力できる形に 338 / 420
339. 数として Tensor型 を使って自動微分などを行う >>> x = torch.tensor(2.0, requires_grad=True) >>> def f(x): ... return x ** 2 + 4 * x + 3 ... >>> y = f(x) >>> y.backward() >>> x.grad tensor(8.) ( の における微分係数 ) ⇨ データをTensor型に直しておく必要あり 1-3. PyTorchに入力できる形に 339 / 420
340. torch.tensor(data, requires_grad=False) data : 保持するデータ(配列っぽいものならなんでも) リスト,タプル, Numpy配列, スカラ.... requires_grad : 勾配 (gradient)を保持するかどうかのフラグ デフォルトは False 勾配の計算(自動微分)を行う場合は True にする このあとこいつを微分の計算に使いますよ〜という表明 再掲: Tensor 型のつくりかた 340 / 420
341. 我々が勾配降下法で使うのは, 各 パラメータ の損失に対する勾配 ⇩ 入力データの勾配は不要なので requires_grad=True とする必要はないことに注意！ 1-3. PyTorchに入力できる形に 341 / 420
342. 　単にこれで OK！ import torch train_x = torch.tensor(train_x, dtype=torch.float32) train_y = torch.tensor(train_y, dtype=torch.float32) val_x = torch.tensor(val_x, dtype=torch.float32) val_y = torch.tensor(val_y, dtype=torch.float32) test_x = torch.tensor(test_x, dtype=torch.float32) 1-3. PyTorchに入力できる形に 342 / 420
343. 1-0. データのダウンロード ⇩ 1-1. データの読み込み ⇩ 1-2. データの前処理 ⇩ 1-2. PyTorchに入力できる形に 全体の流れ1 ~モデルに入力するまで 343 / 420
344. 1. データの読み込み 2. モデルの構築 3. モデルの学習 4. 新規データに対する予測 5. 順位表への提出 全体の流れ 344 / 420
345. 今からすること... をつくる 2. モデルの構築 345 / 420
346. torch.nn.Sequential によるモデルの構築 torch.nn.Sequential を使うと 一直線 • • • のモデルを簡単に定義できる. import torch.nn as nn model = nn.Sequential( nn.Linear(30, 32), nn.Sigmoid(), nn.Linear(32, 64), nn.Sigmoid(), nn.Linear(64, 1) ) 2. モデルの構築 346 / 420
347. 二値分類の場合 ⇨ 最後に シグモイド関数 をかけることで出力を の中に収める. import torch.nn as nn model = nn.Sequential( nn.Linear(30, 32), nn.Sigmoid(), nn.Linear(32, 64), nn.Sigmoid(), nn.Linear(64, 1), nn.Sigmoid() # <- ここ重要！ ) 2. モデルの構築 ~ 二値分類の場合 347 / 420
348. import torch.nn as nn model = nn.Sequential( nn.Linear(30, 32), nn.Sigmoid(), nn.Linear(32, 64), nn.Sigmoid(), nn.Linear(64, 1), nn.Sigmoid() ) ⇨ すでにこの時点でパラメータの初期化 などは終わっている 引数に層を順番に渡すことで,モデルを構 築してくれる！ 「全結合層( ) シグモイ ド関数 全結合層 ( ) シ グモイド関数 全結合層( )」 という MLP の定義 2. モデルの構築 348 / 420
349. model.parameters() または model.state_dict() で モデルのパラメータを確認できる model.state_dict() 各全結合層のパラメータ , が見える 2. モデルの構築 349 / 420
350. 構築したモデルは関数のように呼び出すことができる import torch dummy_input = torch.rand(1, 30) model(dummy_input) torch.rand(shape) で,形が shape のランダムな Tensor が作れる ⇨ モデルに入力して計算できることを確認しておく！ (現段階では乱数でパラメータが初期化されたモデルに乱数を入力しているので値に意 味はない) 2. モデルの構築 350 / 420
351. をつくる ⇩ あとはこれを勾配降下法の枠組みで学習させる！ ⇩ 思い出すシリーズ 確率的勾配降下法 2. モデルの構築 351 / 420
352. 1. データの読み込み 2. モデルの構築 3. モデルの学習 4. 新規データに対する予測 5. 順位表への提出 全体の流れ 352 / 420
353. 3-1. 確率的勾配降下法の準備 ⇩ 3-2. 確率的勾配降下法の実装 全体の流れ3. モデルの学習 353 / 420
354. 確率的勾配降下法 (SGD) データの 一部 をランダムに選んで, そのデータに対する勾配を使ってパラメータを更新する 確率的勾配降下法 354 / 420
355. 整理: 我々がやらなきゃいけないこと データをいい感じに選んで供給する仕組みを作る 3-1. 確率的勾配降下法の準備 355 / 420
356. < 私がやります torch.utils.data.Dataset , torch.utils.data.DataLoader 　を 使うと簡単に実装できる！ 3-1. 確率的勾配降下法の準備 356 / 420
357. 現状確認 train_x , train_y , val_x , val_y , test_x にデータが Tensor 型のオブジェクトとして格納されている. 3-1. 確率的勾配降下法の準備 357 / 420
358. 1. Datasetの作成 ( Dataset ) データセット (データの入出力のペア ) を表すクラス 3-1. 確率的勾配降下法の準備 358 / 420
359. TensorDataset に モデルの入力データ ( train_x )と 出力の目標データ ( train_y ) を渡すことで Dataset のサブクラスである TensorDataset が作れる！ from torch.utils.data import TensorDataset # データセットの作成 # 学習データのデータセット train_dataset = TensorDataset(train_x, train_y) # 検証データのデータセット val_dataset = TensorDataset(val_x, val_y) 3-1. 確率的勾配降下法の準備 実際は torch.utils.data.Dataset を継承したクラスを作ることでも Dataset のサブクラスのオブジェクトを作ることができます. この方法だと非常に柔軟な処理が行えるためふつうはこれを使います (今回は簡単のために TensorDataset を使いました) 359 / 420
360. 1. DataLoaderの作成 ( DataLoader ) Dataset から一部のデータ (ミニバッチ) を取り出して供給してくれるオブジェク ト つまり.... 整理: 我々がやらなきゃいけないこと データをいい感じに選んで供給する仕組みを作る をやってくれる 3-1. 確率的勾配降下法の準備 360 / 420
361. 1. DataLoaderの作成 ( DataLoader ) Dataset からミニバッチを取り出して供給してくれるオブジェクト DataLoader(dataset, batch_size=batch_size, shuffle=shuffle) from torch.utils.data import DataLoader batch_size = 32 train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, drop_last=True) val_dataloader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False) ⇨ これを for文で回すことでデータを取り出すことができる 3-1. 確率的勾配降下法の準備 361 / 420
362. 1. DataLoaderの作成( DataLoader 型) for inputs, targets in train_dataloader: print('inputs.shape', inputs.shape) print('targets.shape', targets.shape) print('-------------') ⇩ inputs.shape torch.Size([32, 30]) targets.shape torch.Size([32, 1]) ------------- inputs.shape torch.Size([32, 30]) targets.shape torch.Size([32, 1]) ... ✔︎ データセットを一回走査するまでループが回ることを確認しよう！ 3-1. 確率的勾配降下法の準備 362 / 420
363. DatasetとDataLoaderの作成 from torch.utils.data import TensorDataset, DataLoader # データセットの作成 train_dataset = TensorDataset(train_x, train_y) val_dataset = TensorDataset(val_x, val_y) # データローダの作成 batch_size = 32 train_dataloader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True, drop_last=True) val_dataloader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False) 3-1. 確率的勾配降下法の準備 363 / 420
364. 整理: 我々がやらなきゃいけないこと データをいい感じに選んで供給する仕組みを作る Done! 3-1. 確率的勾配降下法の準備 364 / 420
365. データは回るようになった ⇨ あとは学習を実装すればOK！ TODOリスト 1. 損失関数を設定する 2. 勾配の計算を行う 3. パラメータの更新を行う 3.2 確率的勾配降下法の実装 365 / 420
366. 1. 損失関数は何のためにあるのか？ 3.2 確率的勾配降下法の実装: 損失関数の設定 366 / 420
367. 今回の評価指標 正解率！ 3.2 確率的勾配降下法の実装: 損失関数の設定 367 / 420
368. 今までは評価指標もすべて平均二乗和誤差だった ⇩ 平均二乗誤差は微分可能なのでこれを 損失関数 • • • • として勾配降下法で最適化すれば 評価指標である • • • • • • • 平均二乗誤差も最適化できた 3.2 確率的勾配降下法の実装: 損失関数の設定 368 / 420
369. 正解率は直接最適化できる？ ⇨ No!! 3.2 確率的勾配降下法の実装: 損失関数の設定 369 / 420
370. パラメータを微小に変化させても 正解率は変化しない！ ⇨ 正解率は, ほとんどの点で微分係数 変わるところも微分不可能 ⇩ 勾配降下法で最適化できない 正解率の微分 右のグラフは, 適当に作った二値分類 ( ) のタスクをロジスティック回帰 というモデルで解いたときの、パラメータ平面上の正解率をプロットしてみたもので す。これを見ればほとんどのところが微分係数が ( 平坦) で、変わるところも微分 不可 ( 鋭い) ことがわかります。 370 / 420
371. どうするか？ ⇨ こういう分類を解くのに向いている損失関数を使って 間接的に 正解率を上げる. 正解率を間接的に最適化する 371 / 420
372. 二値交差エントロピー誤差 (Binary Cross Entropy Loss) Binary Cross Entropy Loss 372 / 420
373. 確認してほしいこと: 正解 と予測 が近いほど値は 小さくなっている. ( 　なのでそれぞれの場 合について考えてみるとわかる) 微分可能である なので、損失関数として妥当 Binary Cross Entropy Loss これもやはり二乗和誤差のときと同様に同様に尤度の最大化として 導出 • • できます. 373 / 420
374. PyTorch では, torch.nn.BCELoss で使える！ import torch criterion = torch.nn.BCELoss() y = torch.tensor([0.0, 1.0, 1.0]) pred = torch.tensor([0.1, 0.9, 0.2]) loss = criterion(pred, y) print(loss) # => tensor(0.6067) Binary Cross Entropy Loss 374 / 420
375. TODOリスト 1. 損失関数を設定する 2. 勾配の計算を行う 3. パラメータの更新を行う 3.2 確率的勾配降下法の実装 375 / 420
376. 2. 勾配の計算を行う やりかたは....？ 3.2 確率的勾配降下法の実装 376 / 420
377. 定義 計算 backward(), 定義 計算 backward(), 定義 計算 backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 定義→計算→backward(), 定義→計算→backward(), 定義→計算→backward(), 定義 3.2 確率的勾配降下法の実装 377 / 420
378. # ここから model = nn.Sequential( nn.Linear(30, 32), ... ) # ここまでが "定義" dummy_input = torch.rand(1, 30) dummy_target = torch.rand(1, 1) # "計算" pred = model(dummy_input) loss = criterion(pred, dummy_target) # "backward()" loss.backward() 損失に対するパラメータの勾配の計算例 378 / 420
379. ✔︎ チェックポイント 1. loss に対する勾配を計算している # backward loss.backward() 2. 勾配は パラメータ に対して計算される for param in model.parameters(): print(param.grad) ( dummy_input , dummy_target は requires_grad=False なので勾配は計算されない) 3.2 確率的勾配降下法の実装 379 / 420
380. TODOリスト 1. 損失関数を設定する 2. 勾配の計算を行う 3. パラメータの更新を行う 3.2 確率的勾配降下法の実装 380 / 420
381. for epoch in range(epochs): for inputs, targets in train_dataloader: # 計算 outputs = model(inputs) loss = criterion(outputs, targets) # backward loss.backward() # ----------------------- # .... # ここにパラメータの更新を書く # .... # ----------------------- 3.2 確率的勾配降下法の実装 381 / 420
382. これまでは,我々が手動(?)で更新するコードを書いていた ⇨ < 私がやります torch.optimのオプティマイザを使うことで簡単にいろいろな 最適化アルゴリズムを使える 3.2 確率的勾配降下法の実装 382 / 420
383. ( : 完成版ではない) optimizer = optim.SGD(model.parameters(), lr=lr) # 学習ループ for epoch in range(epochs): for inputs, targets in train_dataloader: # 勾配の初期化 optimizer.zero_grad() # 計算 outputs = model(inputs) loss = criterion(outputs, targets) # backward loss.backward() # パラメータの更新 optimizer.step() 3.2 確率的勾配降下法の実装 383 / 420
384. optimizer = optim.SGD(params) のようにすることで params を勾配降下法で更新するオプティマイザを作成できる！ たとえば Adam が使いたければ optimizer = optim.Adam(params) とするだけでOK！ ⇩ 勾配を計算したあとに optimizer.step() を呼ぶと, 各 Tensor に載っている勾配の値を使ってパラメータを更新してくれる 3.2 確率的勾配降下法の実装 384 / 420
385. 注意 optimizer.step() で一回パラメータを更新するたびに optimizer.zero_grad() で勾配を初期化する必要がある！ (これをしないと前回の backward の結果が残っていておかしくなる) 3.2 確率的勾配降下法の実装 385 / 420
386. ⇩ 次のページ... 学習の全体像を貼ります！！！ 386 / 420
387. from torch import nn model = nn.Sequential( nn.Linear(30, 32), nn.Sigmoid(), nn.Linear(32, 64), nn.Sigmoid(), nn.Linear(64, 1), nn.Sigmoid() ) optimizer = torch.optim.SGD(model.parameters(), lr=1e-2) criterion = torch.nn.BCELoss() n_epoch = 100 for epoch in range(n_epoch): running_loss = 0.0 for inputs, targets in train_dataloader: # 前の勾配を消す optimizer.zero_grad() # 計算 outputs = model(inputs) loss = criterion(outputs, targets) # backwardで勾配を計算 loss.backward() # optimizerを使ってパラメータを更新 optimizer.step() running_loss += loss.item() val_loss = 0.0 with torch.no_grad(): for inputs, targets in val_dataloader: outputs = model(inputs) loss = criterion(outputs, targets) val_loss += loss.item() # エポックごとの損失の表示 train_loss = running_loss / len(train_dataloader) val_loss = val_loss / len(val_dataloader) print(f'Epoch {epoch + 1} - Train Loss: {train_loss:.4f} - Val Loss: {val_loss:.10f}') 3.2 確率的勾配降下法の実装 387 / 420
388. 1行目. for epoch in range(n_epoch) .... データ全体を n_epoch 回まわす 2行目. running_loss = 0.0 .... 1エポックごとの訓練データの損失を計算するた めの変数 4行目. for inputs, targets in train_dataloader .... 訓練データを1バッチずつ 取り出す( DataLoader の項を参照してください！) 6行目. optimizer.zero_grad() .... 勾配を初期化する. 二つ前のページのスライド です！ 9, 10行目. outputs = ... .... 損失の計算をします. 各行の解説 (for文以降) 388 / 420
389. 13行目. loss.backward() .... 勾配の計算です.これによって model のパラメータに 損失に対する 勾配が記録されます 16行目. optimizer.step() .... optimizer が記録された勾配に基づいてパラメー タを更新します. 18行目. running_loss += loss.item() .... 1バッチ分の損失を running_loss に足 しておきます. 20行目~25行目. 1エポック分の学習が終わったらバリデーションデータでの損失 を計算します. バリデーションデータの内容は学習に影響させないので勾配を計算 する必要がありません.したがって torch.no_grad() の中で計算します. 3.2 確率的勾配降下法の実装 389 / 420
390. 28行目〜30行目. 1エポック分の学習が終わったら, 訓練データと検証データの損 失を表示します. len(train_dataloader) は訓練データが何個のミニバッチに分割 されたかを表す数, len(val_dataloader) は検証データが何個のミニバッチに分割 されたかを表す数です. これで割って平均の値にします. 32行目. 損失を出力します. 3.2 確率的勾配降下法の実装 390 / 420
391. TODOリスト 1. 損失関数を設定する 2. 勾配の計算を行う 3. パラメータの更新を行う 3.2 確率的勾配降下法の実装 391 / 420
392. バリデーションデータで 今回の評価指標である正解率がどのくらいになっているか計 算しておく！ これがテストデータに対する予測精度のめやす. バリデーション 392 / 420
393. 1. 以上なら異常と予測する. val_pred = model(val_x) > 0.5 2. torch.Tensor から numpy.ndarray に変換する val_pred_np = val_pred.numpy().astype(int) val_y_np = val_y.numpy().astype(int) 2. sklearn.metrics の accuracy_score を使って正解率を計算する from sklearn.metrics import accuracy_score accuracy_score(val_y_np, val_pred_np) # => (乞うご期待. これを高くできるように頑張る) 正解率の計算 393 / 420
394. + オプション　 学習曲線を書いておこう 1. 各エポックの損失を記録する配列を作っておく train_losses = [] val_losses = [] 1. 先ほどの学習のコードの中に,損失を記録するコードを追加する train_loss = running_loss / len(train_dataloader) val_loss = val_loss / len(val_dataloader) train_losses.append(train_loss) # これが追加された val_losses.append(val_loss)　# これが追加された print(f'Epoch {epoch + 1} - Train Loss: {train_loss:.4f} - Val Loss: {val_loss:.10f}') (各 エポックで正解率も計算するとより実験がしやすくなるので実装してみよう) 3. 学習が完了！！！ 394 / 420
395. + オプション　 学習曲線を書いておこう matplotlib というパッケージを使うことでグラフが書ける # matplotlib.pyplot を pltという名前でimport import matplotlib.pyplot as plt plt.plot(train_losses, label='train') plt.plot(val_losses, label='val') plt.legend() plt.xlabel('epoch') plt.ylabel('loss') plt.show() ⇨ いい感じのプロットが見れる 3. 学習が完了！！！ 395 / 420
396. 1. データの読み込み 2. モデルの構築 3. モデルの学習 4. 新規データに対する予測 5. 順位表への提出 全体の流れ 396 / 420
397. そういえば test_x に予測したい未知のデータが入っている model(test_x) ⇨ 予測結果が出る 4. 新規データに対する予測 397 / 420
398. import csv def write_pred(predictions, filename='submit.csv'): pred = predictions.squeeze().tolist() assert set(pred) == set([True, False]) pred_class = ["attack" if x else "normal" for x in pred] sample_submission = pd.read_csv('sample_submission.csv') sample_submission['pred'] = pred_class sample_submission.to_csv('submit.csv', index=False) をコピペ → 5. 順位表への提出 398 / 420
399. 予測結果 ( True , False からなる Tensor ) pred = model(test_x) > 0.5 を作って, write_pred(pred) すると, 5. 順位表への提出 399 / 420
400. > submit.csv ができる！ ダウンロードして, submit から投 稿！ 順位表に乗ろう! 5. 順位表への提出 400 / 420
401. めざせ　No.1！ 5. 順位表への提出 401 / 420
402. 機械学習講習会 第七回 - 「機械学習の応用,データ分析コンペ」 traP Kaggle班 2024/07/17 402 / 420
403. コンペの結果発表　 データ分析コンペという競技について ポエム 今日の内容 403 / 420
404. # コンペの結果発表　 ⇨ https://abap34.github.io/ml-lecture/supplement/competetion-result.html まずは 404 / 420
405. Q. 今回のコンペでどんな取り組み方をしましたか？ データ分析コンペという競技について 405 / 420
406. データ分析コンペにおける勝敗を分けるポイントのひとつ ⇨ データへの 理解度 • • • コンペの戦い方 1.EDA 406 / 420
407. あたり前に確認すべきこと... 1. データはどのくらいあるのか？ 2. どういう形式なのか？ + どのような情報が予測に役立つのか？ コンペの戦い方 1.EDA 407 / 420
408. EDA: 探索的データ分析 (Exploratory Data Analysis) 事前に仮説やモデルを仮定せず,データの特徴や構造を理解する分析. 例) データの分布,欠損値の確認,各変数の組の相関係数　などなど... EDA: 探索的データ分析 (Exploratory Data Analysis) 408 / 420
409. ものすごく簡単な例: (abap34.com/ml- lecture/supplement/EDA. html) EDA: 今回のコンペを例に 409 / 420
410. Trust Your CV ... CV Cross Validation を信じよという有名な信仰. コンペの戦い方 2.バリデーションについて 410 / 420
411. Q. Public LeaderBoard に大量の提出を繰り返すとどうなる？ ⇨ Public LB でのスコアが上振れる. Q. するとどうなる？ ⇨ shake で死ぬ. バリデーション 411 / 420
412. shake Public LB と Private LB の順位が大きく異なる現 象 shake 写真はつい先日終わった Learning Agency Lab - Automated Essay Scoring 2.0 とい うコンペの順位表です. こちらのリンク (https://kaggle.com/competitions/learning-agency-lab-automated-essay- scoring-2/leaderboard) から見れます.恐怖. 412 / 420
413. Public LB に振り回されないために 1. スコアのブレの程度を把握しておく i. テストと同じくらいのサイズのバリデーションデータをとり,そのスコアのブ レを見るなど ii. Public Score の上振れを引いても Private Score は上がらないので CV を上 げることに専念 2. バリデーションデータとテストデータの分布の乖離に気を付ける i. たいていのコンペでは参加者同士が CV と LB のスコアを比較するディスカッ ションが立っていがち. これを必ず • • 確認する！ ii. 分布の違いの原因を調べて, よりテストデータに近いバリデーションデータを 作る方法を考える (例: adversarial validation) shake の波を乗り切るにはどうするか？ 413 / 420
414. ただ, Public LB も 重要な情報 • • • • • (ふつうの) 機械学習の枠組みでは絶対見られないテストスコアの一部が見られる ⇩　以下のケースでは Public LB も 重要なスコアの指針 1. Public LB 用のデータが学習データと同じ分布で同程度のサイズ 2. 時系列で学習データとテストデータが分割されている i. Public / Private 間はランダムに分割 ← とくに重要な指針になる ii. Public / Private も時系列で分割 Public LB との向き合い方 414 / 420
415. ハイパーパラメータ(学習率, 木の深さ, ... などの学習時の設定) の調整は大事！　 だけど 最初からハイパーパラメータの調整に時間をかけすぎない コンペの戦い方 3. ハイパーパラメータの調整 415 / 420
416. ハイパーパラメータの調整は決定 的な差別化ポイントになりづらい！ ⇨ 調整はそこそこに データの理解 特徴量エンジニアリング に時間を費やすのが　 (もちろん, 確実にスコアを上げられ る手段なので終盤にはちゃんと調整 する) ハイパーパラメータの調整 416 / 420
417. 1. まず与えられたデータに対して EDA を行い, データの基本的な性質や予測に役立 つ情報を把握する 2. 信頼できるバリデーションの仕組みを構築する 3. 特徴量エンジニアリングを行い, 学習 4. 提出 5. ディスカッションを参考にしつつ, スコアの信頼性などを確かめる.終盤ならハイ パーパラメータの調整などをしても良いかも. 6. 3 に戻る↩︎ テーブルコンペの全体的な流れ 417 / 420
418. この講習会で扱わなかったこと ポエム 418 / 420
419. この講習会は機械学習の洞窟を全て探検することを目指しているのではなく、一 旦ガイド付きで洞窟の最深部まで一気に駆け抜けることで二回目以降の探検をし やすくすることを目指しています。 (前がきより) この講習会で扱わなかったこと 419 / 420
420. 　機械学習の世界はめちゃくちゃ広い！ 関連する 数学 コンピュータサイエンス の話題もたくさん (本当にたくさん) 解ける面白い問題もたくさん！ ⇨ 必ず興味があるものに遭遇するはず! ⇨ Kaggle 班で色々やりましょう！お疲れ様でした！ この講習会で扱わなかったこと 420 / 420