) ( ) ( ) ( ) ( ) ( ) ( ) ( )2 1 , 2 i i i i L y f y f = − x x 回帰係数の場合 y(i) : i 番目のサンプルにおける目的変数の値 x(i) : i 番目のサンプルにおける説明変数ベクトル f : 回帰モデル f(x(i)) : i 番目のサンプルにおける目的変数の推定値 ( ) ( ) ( ) ( ) ( ) ( ) ( ) , i i i i L y f y f = − x x ・・・など、いろいろとあります
いろいろあります y(i) : i 番目のサンプルにおけるクラス x(i) : i 番目のサンプルにおける説明変数ベクトル f : クラス分類モデル f(x(i)) : i 番目のサンプルにおける推定されたクラス ( ) ( ) ( ) ( ) , , 1 , ln K i i j k j k k L y f p p = = − x Adaboost におけるサンプルの重み w(i) Adaboost や w(i) の詳細はこちら https://datachemeng.com/adaboost/ 特に決定木のときは交差エントロピー誤差関数 K : クラスの数 pj,k : サンプル i が含まれる 葉ノード j における、 クラス k のサンプルの割合
) ( ) ( ) ( ) ( ) ( ) , log i i i c L y f p = − x x ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 exp exp i k i k K i j j f p f = = x x x K クラスを分類する多クラス分類のとき、クラスごとにK 種類の y (1 or −1) の変数を作成して、K 個の二クラス分類モデルを作成 (あるクラスにおいて、対象のサンプルが 1、それ以外のサンプルが −1) c : y(i) の実際のクラスに対応 する二クラス分類モデルの番号 k 番目の二クラス分類モデルを fk とすると、
マイナスの符号をつけたもの “勾配” ブースティングの名前の由来 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )2 1 , 2 i i i i L y f y f = − x x ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , i i i i i L y f y f f ∂ − = − ∂ x x x 例)
( ) ( ) ( ) ( ) ( ) , i i i k i k L y f q p f ∂ − = − ∂ x x x 損失関数の勾配: L(y(i), f(x(i))) を f(x(i)) で偏微分して、 マイナスの符号をつけたもの “勾配” ブースティングの名前の由来 ( ) ( ) ( ) ( ) ( ) ( ) , log i i i m L y f p = − x x 例) k 番目の二クラス分類モデルでは、 q : k が y(i) の実際の クラスに対応すれば q = 1, そうでなければ q = 0
M として以下を繰り返す • サンプル i ごとに損失関数の勾配を計算 • 損失関数の勾配を y として、決定木モデルを構築 • 決定木モデルの葉ノードを Rm,j (j は葉ノードの番号) とする • 葉ノードごとに、以下を最小化する γ m,j を計算 • 以下のようにモデル f (m) を計算 (η は学習率) f (m)(x(i)) = f (m-1)(x(i)) + η (x(i) が含まれる Rm,j における γ m,j ) 7 ( ) ( ) ( ) ( ) ( ) ( ) , 1 , , i m j i m i m j R L y f γ − + x x が含まれる 決定木の詳細はこちら https://datachemeng.com/decisiontree/
Front. Neurobot., 7, 1-21, 2013 https://doi.org/10.3389/fnbot.2013.00021 T. Hastie, R. Tibshirani, J. Friedman, The Elements of Statistical Learning: Data mining, Inference, and Prediction, Second Edition, Springer, 2009 https://web.stanford.edu/~hastie/ElemStatLearn// T. Chen, C. Guestrin, XGBoost: A Scalable Tree Boosting System, arXiv:1603.02754, 2016 https://arxiv.org/abs/1603.02754 G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye, T. Y. Liu, LightGBM: A Highly Efficient Gradient Boosting Decision Tree, NIPS Proceedings, 2017 https://papers.nips.cc/paper/6907-lightgbm-a-highly-efficient-gradient-boosting-decision-tree 13