執筆日 ２０２０年１２月１日
東京大学 工学系研究科 修士１年 小嶋 麻由佳
２０２０年１０月９日から１１日にかけてオンライン開催された日本ロボット学会第３８回学術講演会のセッション参加レポートをお届けします．ロボット学会初のオンライン開催ということで，直接先生方にお会いできなかったのは残念でしたが，スライド等はむしろ見やすく，快適でした．
今回レポートするのは，セッション初日，１０月９日の１セッション目に開かれた「視覚・触覚に基づくロボットマニピュレーション（1/2）」です．最先端のロボットマニピュレーションに関する研究発表が２セッションに跨って１２件行われました．全体的に，「深層学習」を用いた研究が多かったです．また，視覚と触覚を両方用いた研究も多く，興味深く聞かせていただきました．
まずは，ざっとプログラムを紹介します．
1件目は早稲田大学とホンダ・リサーチ・インスティチュート・ジャパンのグループによる「3DCNNとTemporal Skip Connectionを利用したビデオ予測モデルの提案と評価」です．ロボットアームの後ろ側に隠れてしまう物体を見失わずに予測する手法を提案・評価していました．
2件目は，大阪大学による「Development of a visual-tactile sensor for robotic hands」です．錫を混ぜたシリコンを用いたtactileセンサを開発していました．LEDを用いて光の当たり加減とアレイ型の点を見ることで力と形状を計測しており，そのLEDの色がとても綺麗でした．
Visual Tactile Sensor．（予稿原稿[2]より転載）
３件目は，九州工業大学とオムロン サイニックエックス株式会社のグループから「FingerVisionを用いた触覚センシングと物体検出を同時に実現するための画像修復とノイズ除去」です．FingerVisionを用いた触覚センシングではセンサの黒点により物体検出が難しいらしく，その物体検出確率を上げるための手法を提案していました．
FingerVision．（予稿原稿[3]より転載）
４件目は，東北大学と金沢大学のグループによる「CAVS+FingerVisionを搭載した2指4自由度ハンドによる紙の重なり認識と除去」です．FingerVision表面の滑り動作を検出することで，紙が重なっているかを検出していました．滑りによって重なりを検出するという発想が面白いと感じました．
５件目は，大阪大学と(株)J-オイルミルズのグループによる「咀嚼マニピュレーションのための深層学習を用いた食塊形成評価」です． 食塊状態の定量評価手法を開発し，咀嚼ロボットを開発していました．
食塊画像および入力画像の例．（予稿原稿[5]より転載）
６件目は，東京大学による「The Sorting and Packing of Goods using a Dual-arm Robot」です．RGB-Dカメラを用いて物体検出を行い，陳列された商品の場所が誤っていたら正しい場所に戻したり，段ボールに戻したりするシステムを開発していました．
ロボットによるパッキングの様子．（予稿原稿[6]より転載）
７件目は，三菱電機(株)と関西大学とMERLによる「人×機械の遠隔融合システムの開発」です．接触点への力触覚情報を視覚的に重畳するVisual Hapticsを提案し，その効果をVRトレーニングツールや技術検証機を用いて評価していました．
遠隔機械操作システム（試作機）．（予稿原稿[7]より転載）
これらの中から，私が特に興味を持った５件目の「咀嚼マニピュレーションのための深層学習を用いた食塊形成評価」と７件目の「人×機械の遠隔融合システムの開発」について，詳しくレポートします．
「咀嚼マニピュレーションのための深層学習を用いた食塊形成評価」（大阪大学・(株)J-オイルミルズ）
私たちヒトの咀嚼は，食べ物を歯によって噛み切る動作と舌によって圧縮して攪拌する動作とによって行われています．大阪大学と(株)J-オイルミルズのグループでは，このようなヒトの咀嚼マニピュレーションの工学的理解とロボット用いた再現を目指して研究に取り組まれているようです．
今回の発表では，食塊状態を非接触で画像によって定量的に評価する手法を提案されていました．まず，基準となる被験者が試験食材を複数回咀嚼して口から出し，写真にとります．そして，その咀嚼回数をラベルとして教師データを作成し，DCNNモデルを作成します．こうすることで，食塊画像からその咀嚼回数を推定することができるそうです．
また，この食塊状態を評価する手法を2019年に柴田先生たちによって発表された咀嚼シミュレータに適用してみたところ，凡そ１５回ぐらいまでは咀嚼ロボットが再現できていることを確認できたそうです．再現できている咀嚼ロボットの方も凄いですね．
自分がどのように食べ物を咀嚼しているか，など考えたことが余りなかったので，改めて考える機会になり，楽しかったです．また，発表内の動画として流れた咀嚼シミュレータも結構人間らしい動きをしていて面白かったです．ただ，このコロナのご時世なので，複数の被験者を集めて再現性を確認するのが大変らしいです．早く気軽に人が集まれる世の中に戻って欲しいですね．
「人×機械の遠隔融合システムの開発」（三菱電機(株)・関西大学・MERL）
世界人口が増加する一方で，日本では人口減少と少子高齢化による労働力不足が懸念されています．海外人材の積極的な登用が労働力不足の一つの解決策として考えられていますが，三菱電機(株)と関西大学とMERLのグループでは，このような不慣れな環境への出稼ぎは当人の幸福度を下げると考え，海外等の遠隔地からでも労働力不足を補える遠隔機械操作システムを提案してきました．
今回の発表では，遠隔操作時に物理的な力触覚フィードバックを設けるのではなく，対象との接触点に力触覚情報を視覚的に重畳するVisual Hapticsを提案しました．この視覚効果により，脳内情報流が約半分に低減した上，繰り返しトレーニングする際の「慣れ」が促進されたそうです．視覚効果によって慣れやすさが変わる，というのは考えたこともなかったのでびっくりしました．また，構築したVRトレーニングツールや技術検証機によって，定量的，定性的にVisual Hapticsの有効性を確認できたそうです．
また，浅田先生が「視覚触覚の両方を同時にトレーニングしたら，視覚情報から触覚情報も推定できるようになるのでは？」とコメントされていて，確かに推定できるようになりそうですし，そうなれば面白そうだと思いました．今後の研究に期待したいです．
以上で「視覚・触覚に基づくロボットマニピュレーション」のセッションレポートを終わります．この他にも，「視覚・触覚に基づくロボットマニピュレーション（2/2）」「確率ロボティクスとデータ工学ロボティクス～認識・行動学習・記号創発～(3/5)」「ヒューマンインタラクション(2/2)」「ヒューマン・マシン・インターフェース」のセッションについてもレポートしていますので，そちらも是非御覧ください．
【講演プログラム】
1B1_OS07：視覚・触覚に基づくロボットマニピュレーション（1/2）
[1] 1B1-01 3DCNNとTemporal Skip Connectionを利用したビデオ予測モデルの提案と評価
○小栗 滉貴（早稲田大学），庄野 修（ホンダ・リサーチ・インスティチュート・ ジャパン），斎藤 菜美子（早稲田大学），尾形 哲也（早稲田大学），菅野 重樹（早稲田大学）
[2] 1B1-02 Development of a visual-tactile sensor for robotic hands
○Yuan Gao（Osaka Univ.），Weiwei Wan（Osaka Univ.），Keisuke Koyama（Osaka Univ.），Kensuke Harada（Osaka Univ.）
[3] 1B1-03 FingerVisionを用いた触覚センシングと物体検出を同時に実現するための画像修復とノイズ除去
○山崎 駆（九州工業大学），高橋 和孝（九州工業大学），Ravi P. Joshi（九州工業大学），柴田 智広（九州工業大学），諏訪 正樹（九州工業大学，オムロン サイニック エックス株式会社）
[4] 1B1-04 CAVS+FingerVisionを搭載した2指4自由度ハンドによる紙の重なり認識と除去
○鈴木 吉幸（東北大学），山口 明彦（東北大学），野尻 晴太（金沢大学），渡辺 哲陽（金沢大学），橋本 浩一（東北大学）
[5] 1B1-05 咀嚼マニピュレーションのための深層学習を用いた食塊形成評価
○柴田 曉秀（大阪大学），長畑 雄也（(株)J-オイルミルズ），井上 賀美（(株)J-オイルミルズ），東森 充（大阪大学）
[6] 1B1-06 The Sorting and Packing of Goods using a Dual-arm Robot
○趙 飛宇（東京大学），武内 康将（東京大学），矢野倉 伊織（東京大学），李 梓佳（東京大学），垣内 洋平（東京大学），岡田 慧（東京大学），稲葉 雅幸（東京大学）
[7] 1B1-07 人×機械の遠隔融合システムの開発
○春名 正樹（三菱電機（株）），川口 昇（三菱電機（株）），勝又 徳也（三菱電機（株）），荻野 正樹（関西大学），小池 俊昭（MERL）
