第140回 ロボット工学セミナー実施報告
「ロボットのための強化学習/深層強化学習」
日時：2022.5.10 (火) 10:00-17:00
場所：オンライン（Zoom webinar）
参加者数：202名
オーガナイザ： 井尻善久（LINE株式会社）
サブオーガナイザ： 小出健司（産業技術総合研究所）
セミナーURL：https://www.rsj.or.jp/event/seminar/news/2022/s140.html
１．概要
強化学習はロボット制御の新たなパラダイムとして長年研究されてきたが，近年深層学習と結び付くことでさらにそれが現実的になりつつある。そこで、強化学習をロボット分野に応用してこられた講師の方々から，各強化学習のアルゴリズムの応用に関する勘所や応用例を紹介頂いた。
本セミナーは、近年恒例となっているZoom webinarによる遠隔配信、boxによる資料配布、Sli.doによる質問投稿により実施された。進行は、オーガナイザが司会に専念し、サブオーガナイザが質問要約および代読し、講師が回答する形で実施した。40分程度の講演と10分程度の質疑応答、および休憩を10分間はさむかたちで、およそ１時間単位で各講演を進行する6名の講師に講演を行って頂いた。なお、見逃し配信はセミナー開催日翌日の5月11日より5月19日まで参加者限定でyoutubeにて実施された。以下に、各内容に関する概要を報告する。
２．開演（司会：井尻）
オーガナイザより、開催趣旨の説明、および簡単な導入を行った。多少後ほどの説明と重なる部分があり、事前に講演者と共有があっても良かったかもしれない。なお、導入の最後に進行の仕方や質問等の受け付け方なども、案内には書かれており繰り返しにはなるものの、再度周知を行った。
３．第１話 強化学習の基本と外観（PFN前田様）
強化学習の理解に必要な基礎概念から、問題設定等、幅広く紹介いただいた。特に価値ベースや方策ベース手法について、導出方法や特徴についてのまとめがなされた。加えてメタ学習など今後の方向性についても示唆された。
４．第２話 ロボットにおける深層強化学習の最新研究動向（ソニーグループ有木様）
ロボットにおける基本的な問題として動作計画があるが、そのような身近な例を基に、最新の深層強化学習がどのように活用されるかについて説明いただいた。中でも特にサンプル効率の観点からモデルベース強化学習について紹介された。
５．第３話 動的環境下における動作生成（三菱電機太田様）
特に移動ロボットにおける動作計画において、従来の動作計画と機械学習に基づく動作計画を組み合わせる手法について様々なパラダイムを紹介いただいた。
６．第４話 階層型強化学習の目的関数の多峰性
タスクおよびそれに付随する目的関数における多峰性が、階層強化学習が必要となる理由であることを説明いただいた上で、具体的な活用方法について紹介された。なお、説明の過程で強化学習における重要な概念であるオンポリシ・オフポリシについての説明もなされ、階層強化学習における一つの下位方策ばかりが学習される方法に対して以前の方策に依存しないオフポリシ学習の有効性やゴールで条件づけされた方策の重要性が示された。
７．第５話 深層強化学習による実世界ロボット制御
モデルフリー強化学習は大量のデータを使えるゲーム等において成功を収める一方データコストの高いロボットでは応用が難しかったが、方策を滑らかに更新することにより高いサンプル効率と精度を同時に実現できることが説明された。加えて、エッジ実装のため二値化されたネットワークで超高速な制御を実現する強化学習手法も紹介された。
８．第６話 柔軟要素を持つロボットのモデルベース学習
柔軟要素を持ちモデル化が難しいソフトロボットにおいて、モデルベース強化学習が有効であることが示された。またそれらのロボットへのティーチング手法も合わせて解説され、ハードウェアも含めた現状のロボットの改善の可能性が示唆された。
９．まとめ
本来５月度のセミナは例年画像関連で行われることが多いが、今回は非常に関心度の高まりつつあるトピックスとして強化学習を選定し、非常に多くの聴講者を集めることができた。ロボット学会の学会誌における特集号とのゆるやかな連携もあり、講師間の連携や理解も強く、互いにうまくトピックス的にも別れ、全体として広い強化学習のフィールドを短時間にある程度網羅できた点もよかった。
連休直後の開催であったために、多少の心配はあったが、参加者数を考えれば、特に影響はなかったと考えている。また機材トラブル等もなく全体として進行はスムーズに行えた。進行および事前準備に際して多大なるサポートいただいた村上様に御礼申し上げたい。加えて、当日はサブオーガナイザの小出様には、非常にうまく質問をクラスタリングして投げかけていただいたために質疑応答もかなり効率的に行えた。こちらに関しても御礼申し上げたい次第である。一方で、参加者数が多かったことから時間内に裁けなかった質問もありそれらについては、出来る限り講演終了後講演者にSli.doにて回答頂くようにお願いした。
最後に、講師の皆様、多数の聴講者の皆様、質疑に積極的に参加いただいた聴講者の方々に御礼申し上げます。
以上
