Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ゼロからわかるリザバーコンピューティング
Search
Yuta Kurotaki
December 14, 2023
Research
1
1.6k
ゼロからわかるリザバーコンピューティング
コードとカクテル:GMOペパボのAIナイト - LT大忘年会 -
https://gmo.connpass.com/event/304045/
Yuta Kurotaki
December 14, 2023
Tweet
Share
More Decks by Yuta Kurotaki
See All by Yuta Kurotaki
GMOペパボのSUZURIを支えるAIOpsの実践
kurotaky
0
95
CTO Night & Day 2024 Product Feedback Lunch
kurotaky
1
150
SUZURI DX 2023
kurotaky
1
180
How GitHub Copilot Transforms Development Productivity
kurotaky
18
13k
The story of repairing my junk keyboard with The kinT keyboard controller
kurotaky
0
1.6k
DevRel_Japan CONFERENCE 2023
kurotaky
1
1.9k
ctoa-wakate-01-company-introduction
kurotaky
0
300
Ethereum for Ruby
kurotaky
2
2k
NFTコンテンツでオリジナルグッズ作成を支える技術
kurotaky
1
180
Other Decks in Research
See All in Research
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
62
31k
情報技術の社会実装に向けた応用と課題:ニュースメディアの事例から / appmech-jsce 2025
upura
0
200
CVPR2025論文紹介:Unboxed
murakawatakuya
0
180
投資戦略202508
pw
0
570
AI in Enterprises - Java and Open Source to the Rescue
ivargrimstad
0
640
20250725-bet-ai-day
cipepser
2
480
Stealing LUKS Keys via TPM and UUID Spoofing in 10 Minutes - BSides 2025
anykeyshik
0
140
Minimax and Bayes Optimal Best-arm Identification: Adaptive Experimental Design for Treatment Choice
masakat0
0
180
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
460
AWSで実現した大規模日本語VLM学習用データセット "MOMIJI" 構築パイプライン/buiding-momiji
studio_graph
2
710
J-RAGBench: 日本語RAGにおける Generator評価ベンチマークの構築
koki_itai
0
730
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
3
350
Featured
See All Featured
Facilitating Awesome Meetings
lara
56
6.6k
Thoughts on Productivity
jonyablonski
70
4.9k
Being A Developer After 40
akosma
91
590k
A Modern Web Designer's Workflow
chriscoyier
697
190k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
140
34k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
For a Future-Friendly Web
brad_frost
180
9.9k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.6k
Automating Front-end Workflow
addyosmani
1371
200k
Transcript
1 ゼロからわかる リザバーコンピューティング 黒瀧 悠太 コードとカクテル:GMOペパボのAIナイト - LT⼤忘年会 - 2023.12.14
2 ⾃⼰紹介 黒瀧 悠太 Yuta Kurotaki • SUZURI事業部シニアエンジニアリングリード • GMOインターネットグループ
デベロッパーエキスパート • リザバーコンピューティングに関する 勉強や開発をしている • SNS : @kurotaky • ⾳楽が好き、ドラマーです。
SUZURI 3
SUZURI 4
SUZURI 5
6 https://jab.tokyo/
7
8 アジェンダ 1. リザバーコンピューティングについて 2. エコーステートネットワーク概要 3. まとめ
リザバーコンピューティングについて • 時系列データの入力に対する 複雑な動的応答を生成する計算手法 • 波紋パターンは入力された時系列 情報を表し、リザバーによる状態変化 を分析することで、時系列データを認識 し解析する リザバーコンピューティングとは?
9 水面におはじきを投げ入れると、複雑な波紋が広がる 知 識の森 リザバーコンピューティング , 電子情報通信学会 . 時系列の入力をリザ バーに与えると、入力の 大きさや順序に応じた動 的な波紋のパターンが 生じる
リザバーコンピューティングについて 10 ニューラルネットワークとリザバーコンピューティング
リザバーコンピューティングについて 1986年 Jordan ネットワーク 1989年 Real-Time Recurrent Learning (RTRL) 1990年
Elman ネットワーク Backpropagation Through Time (BPTT) 1997年 ⻑‧短期記憶 (LSTM) 2001年 エコーステートネットワーク (ESN) 2002年 リキッドステートマシン (LSM) 2014年 ゲート付き回帰型ユニット (GRU) Recurrent Neural Network の歴史 11 リザバーコンピューティング|森北出版株式会社 , p.9 表1.1を参考に作成 Jaeger, GMD Report. 148, 34 (2001) Maass, et al. Neural Computation. 14, 11 (2002)
リザバーコンピューティングについて 深層学習 (Deep Neural Network) との違い 12 学習コスト 計算性能 リザバー
コンピューティング ESN、LSM リザバーコンピューティング|森北出版株式会社 , p.6 図 1.3 を参考に作成 線形学習器 線形回帰モデルなど ディープラーニングモ デル RNN、LSTM、GRU
エコーステートネットワーク概要 エコーステートネットワーク (ESN) 13 Introduction to Next Generation Reservoir Computing
https://www.youtube.com/watch?v=wbH4En-k5Gs
エコーステートネットワーク概要 Input Layer と Reservoir 14 入力層とリザバーの接続 ランダムで固定された 重みを持つ接続 リザバー内のニューロン
ランダムで固定された リカレント接続
エコーステートネットワーク概要 出力層 トレーニング可能な 出力重みを持つ Reservoir と Output Layer 15
エコーステートネットワーク概要 リッジ回帰の出⼒重みの導出過程 16 損失関数 損失関数を微分 Woutについて解く 正規化項 を加えた自己相関行列の逆行列を計算
エコーステートネットワーク概要 リードアウトのみ調整 ESNでは、リザバーから出力層への重みだけ調整される。その ため計算が速く、消費電力も少ない → エッジデバイスでの応用、環境に優しい など エコーステートネットワークの特徴 17
エコーステートネットワーク概要 医療: EEG, ECG, EMG, ⼼拍, 眼球運動など 画像: ⼿書き⽂字画像, 動画像
⾳声: 発話, ⾳響, ⾳楽 機械: モーター, ロボット その他にも応⽤例は沢⼭、物理リザバーもある リザバーコンピューティングの応⽤ 18
エコーステートネットワーク概要 サンプルプログラム 19 https://mantas.info/code/simple_esn/ Mackey-Glass 方程式 複雑で非線形な時間系列データをどの程度正確に予 測できるかをテスト
エコーステートネットワーク概要 サンプルプログラム 20
エコーステートネットワーク概要 resSizeでの⽐較 21 resSize = 50 resSize = 500
エコーステートネットワーク概要 resSize = 1000 22
エコーステートネットワーク概要 resSize = 10 23
エコーステートネットワーク概要 resSize = 10000 24 計算がおわりません! (発表に間に合わなさそうなので止めた)
エコーステートネットワーク概要 - ⾮線形系 - ⾮線形な振る舞いを⽰し、複雑なパターンや信号を処理 - エコーステート性 - リザバーの現在の状態は過去の入力に影響される -
時間が経つにつれ、その影響は消失 - ⾼次元 - より複雑なパターンの処理をおこなうため リザバーコンピューティングに求められる特性 25
まとめ • リザバーコンピューティングの概要 • エコーステートネットワークについて • リザバーコンピューティングの応⽤例について • サンプルプログラムを実⾏しての考察 まとめ
26
27 Thank you! We’re hiring!