Ensemble Online Support Vector Regression (EOSVR)

EOSVR とは？
Support Vector Regression (SVR)
ハイパーパラメータの設定と OSVR
EOSVR
色々なハイパーパラメータの組の求め方
EOSVR
RMSE の計算 1
RMSE の計算 2
EOSVR まとめ

1. 0 Ensemble Online Support Vector Regression EOSVR 明治大学 理⼯学部 応用化学科 データ化学⼯学研究室 ⾦⼦ 弘昌
2. EOSVR とは︖ Ensemble Online Support Vector Regression (EOSVR) [1] Moving Window (MW) 型の適応型ソフトセンサー • 適応型ソフトセンサー: https://datachemeng.com/adaptivesoftsensors/ ハイパーパラメータがいろいろな値の Support Vector Regression (SVR) モデルを更新しながら予測 • 複数のモデルで、いろいろなプロセス状態に対応することを期待 • SVR: https://datachemeng.com/supportvectorregression/ 直近の予測結果に基づいて、モデルごとに重みを計算 予測値に重みをつけて最終的な予測値を計算 予測値のばらつきで、最終的な予測値の信頼性も検討可能 1 [1] H. Kaneko, K. Funatsu, Chemom. Intell. Lab. Syst., 137, 57-66, 2014. DOI: 10.1016/j.chemolab.2014.06.008
3. Support Vector Regression (SVR) 2 f(x) x f(x)-ε y f(x)+ε ノイズに強いモデル カーネル関数 K 非線形回帰モデル ε チューブ 誤差 0 αi , αi *の決定 αi , αi *の範囲 モデルの複雑度を調整 SVRの回帰式 0 0 * i i C C α α ≤ ≤ ≤ ≤ ( ) ( ) ( ) ( ) ( ) ( ) 1 , n j j i i i i f K c α α ∗ = = − +  x x x ( ) ( ) 2 ( ) ( ) ( ) ( ) , exp i j i j K γ = − − x x x x
4. ハイパーパラメータの設定と OSVR 3 SVRモデル ε, C, γ を設定 (例: 5-fold クロスバリデーション) [1] J. Ma, J. Theliler, S. Perkins, Neural Comput, 15, 2683-2703, 2003 [2] H. Kaneko, K. Funatsu, Comput. Chem. Eng., 58, 288-297, 2013 一つのパラメータの組で、すべてのプロセス状態に対応できる訳ではない︕ アンサンブル学習 (Ensemble learning) の活用 新しい測定データにより更新 ・・・ Online SVR (OSVR) [1,2] 補足: いわゆる Moving Window SVR (MWSVR)、OSVR では効率的に SVR モデルを更新可能
5. EOSVR 4 SVRモデル m (Cm , εm , γm ) 予測データ x(t) SVRモデル 2 (C2 , ε2 , γ2 ) SVRモデル 1 (C1 , ε1 , γ1 ) yp,1 (t) yp,2 (t) yp,m (t) ⼊⼒ 出⼒ ・・・ ・・・ ・・・  yp (t)  標準偏差 1 RMSE2 (直近のデータを使用して計算) 重み︓ [1] H. Kaneko, K. Funatsu, Chemom. Intell. Lab. Syst., 137, 57-66, 2014. DOI: 10.1016/j.chemolab.2014.06.008
6. 色々なハイパーパラメータの組の求め方 5 y x1 time time C1 , ε1 , γ1 C2 , ε2 , γ2 C3 , ε3 , γ3 Cm , εm , γm 時間幅ごとに、その範囲のみのデータセットでクロスバリデーションにより最適化 ・・・ 局所的なプロセス状態に合うようなパラメータ値を獲得
7. EOSVR 6 SVRモデル m (Cm , εm , γm ) 予測データ x(t) SVRモデル 2 (C2 , ε2 , γ2 ) SVRモデル 1 (C1 , ε1 , γ1 ) yp,1 (t) yp,2 (t) yp,m (t) ⼊⼒ 出⼒ ・・・ ・・・ ・・・  yp (t)  標準偏差 1 RMSE2 (直近のデータを使用して計算) 重み︓ [1] H. Kaneko, K. Funatsu, Chemom. Intell. Lab. Syst., 137, 57-66, 2014. DOI: 10.1016/j.chemolab.2014.06.008
8. RMSE の計算 1 7 y time モデル2の結果 モデル1の結果 モデル3の結果 RMSE 大 小 大 1 RMSE2 重み : 小 大 小
9. RMSE の計算 2 直近のデータセットの RMSEmidknn [1] とする 8 [1] H. Kaneko, K. Funatsu, J. Chem. Inf. Model., 53, 2341-2348, 2013 DOI: 10.1021/ci4003766.
10. EOSVR まとめ 時間的に局所的なプロセス状態に最適化された、いろいろな パターンのハイパーパラメータ値で、複数の SVR モデルを準備 それぞれの SVR モデルを最新のサンプルを用いて更新 • MW モデル 各 SVR モデルにより予測された値に、直近の予測誤差が小さいほど 大きくなるように計算された重み付けて平均した値を、最終的な 予測値とする • プロセス状態ごとに、同じ状態で最適化されたハイパーパラメータを もつ SVR モデルほど予測値への寄与が大きくなる 9