Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] 状態遷移差分の学習による耐故障ロボットのための強化学習
Search
tt1717
January 26, 2024
Research
0
38
[論文紹介] 状態遷移差分の学習による耐故障ロボットのための強化学習
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
January 26, 2024
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks
tt1717
0
24
[論文サーベイ] Survey on Visualization in Deep Reinforcement Learning of Game Tasks 2
tt1717
0
17
[論文サーベイ] Survey on VLM and Reinforcement Learning in Game Tasks (Minecraft)
tt1717
0
24
[論文紹介] RT-1: Robotics Transformer for Real-World Control at Scale
tt1717
0
56
[論文紹介] Chip Placement with Deep Reinforcement Learning
tt1717
0
36
[論文紹介] Human-level control through deep reinforcement learning
tt1717
0
130
[論文紹介] Transformer-based World Models Are Happy With 100k Interactions
tt1717
0
79
[論文紹介] Deep Learning for Video Game Playing
tt1717
0
56
[論文紹介] Playing Atari with Deep Reinforcement Learning
tt1717
0
69
Other Decks in Research
See All in Research
Weekly AI Agents News! 10月号 プロダクト/ニュースのアーカイブ
masatoto
1
120
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
220
工学としてのSRE再訪 / Revisiting SRE as Engineering
yuukit
19
11k
情報処理学会関西支部2024年度定期講演会「自然言語処理と大規模言語モデルの基礎」
ksudoh
5
710
論文読み会 SNLP2024 Instruction-tuned Language Models are Better Knowledge Learners. In: ACL 2024
s_mizuki_nlp
1
360
文化が形作る音楽推薦の消費と、その逆
kuri8ive
0
160
Practical The One Person Framework
asonas
1
1.6k
ニュースメディアにおける事前学習済みモデルの可能性と課題 / IBIS2024
upura
3
510
日本語医療LLM評価ベンチマークの構築と性能分析
fta98
3
640
第 2 部 11 章「大規模言語モデルの研究開発から実運用に向けて」に向けて / MLOps Book Chapter 11
upura
0
390
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
650
snlp2024_multiheadMoE
takase
0
430
Featured
See All Featured
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.2k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.1k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Facilitating Awesome Meetings
lara
50
6.1k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
370
A Tale of Four Properties
chriscoyier
156
23k
Producing Creativity
orderedlist
PRO
341
39k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
109
49k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
506
140k
How GitHub (no longer) Works
holman
310
140k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
The Invisible Side of Design
smashingmag
298
50k
Transcript
・walker2Dを使用 ・3通りの訓練で検証 1.正常なロボットのみで訓練 (normal policy) 2.ロボットをランダムに故障させながら訓練 (robust policy) 3.状態遷移の差分を用いて故障させながら訓練 (our
policy) どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・故障度合いが大きいとき,our policyとrubust policyで高い収益を 得られた ・故障度合いが小さいとき,our policyで高い収益を得られた 故障の表現 ・故障する関節をランダムに選択し,関節アクチュエータのトルク に対して,故障係数kをかける ・故障係数kは一様分布U(0.0,2.0)からサンプリングする ・MDPにおける遷移関数に対して,正常時の遷移関数と故障時の遷 移関数の差分を利用して故障度合いを表現する手法を提案 状態遷移差分の学習による耐故障ロボットのための強化学習 (JSAI 2020)大里 虹平, 川本 一彦 https://www.jstage.jst.go.jp/article/pjsai/JSAI2020/0/JSAI2020_4Rin134/_pdf 2024/01/26 論文を表す画像 被引用数:- 1/4
故障の表現 ❏ 正常時の遷移関数Tnormalと故障時の遷移関数Tbrokenが異なることを 利用 ❏ Tnormalと遷移関数Tが等しければ正常,そうでなければ故障とみなす ❏ Stdiff:ロボットの故障度合いを反映したパラメータ ❏ St:t時刻の状態
❏ Stnormal:正常時ロボットを仮定してt時刻の状態 ❏ Tnormalは未知関数なのでニューラルネットワークで表現する ❏ 定常環境でStnormalを収集し,これを教師データとして遷移予測ネッ トワークを訓練する ❏ St^normalとSt^diffは予測値を意味する 2/4
実験結果 ❏ 結果 ❏ 故障度合いが大きいとき,our policyとrobust policyで高い収益 ❏ 故障度合いが小さいとき,our policyで高い収益
3/4 ❏ 実験設定 ❏ 正常なロボットのみで訓練 (normal policy) ❏ ロボットをランダムに故障させな がら訓練 (robust policy) ❏ 状態遷移の差分を用いて故障させ ながら訓練 (our policy) ❏ hip,knee,ankleに対してkを0.25刻 みで故障させて評価する ❏ 各手法に対して3つのシード値で 3200万ステップ訓練する
❏ まとめ ❏ 正常時の遷移関数を学習する ❏ 予測される状態遷移と実際の状態遷移の差分を方策ネットワークに加える ❏ これにより,故障度合いを識別しながら学習する手法を提案 ❏ 提案手法では,正常時および故障時に遷移関数を利用しない方策より高い
収益を獲得した ❏ 感想 ❏ 提案手法の概要とイメージを掴むことができたが,方策ネットワークに入 力される「StとSt^diff」の2つを入力するのをどのように実装しているの か気になる (通常,t時刻に対する状態は1つだけいれる) ❏ 他のロボット (hopper,halfcheetah,ant)による実験でも,同様の結果が得 られるのか気になる ❏ この研究では,オンライン強化学習の設定で行っているが,オフライン強 化学習の設定で行った場合,結果に変化があるのか見てみたい まとめと感想 4/4