日本のロボット研究の歩みHistory of Robotics Research and Development of Japan2011Integration, Intelligence, etc.〈インテグレーション・知能ほか〉人の楽器演奏に合わせて合奏する共演者ロボットの開発

楽器演奏ロボットの歴史は長く、フルートやピアノの演奏ロボットなどが開発されているが、これらのエンタテイメントの楽しみ方は一方通行の鑑賞のみであった。本研究では、人の演奏を聞き、人に合わせて合奏やダンスで表現する共演者ロボットを開発し、能動的に楽しめる参加型エンタテイメントの実現をめざす。共演者ロボットの仲介により、意思疎通が困難な異世代・異文化の人々の非言語コミュニケーションの促進も期待できる。 共演者ロボットにおける重要な課題は3点である。（１）様々なロボットで演奏するための高移植性演奏システム、（２）人に合わせるための雑音環境下での共演者の演奏のリアルタイム情報抽出と演奏予測、（３）表情豊かな表現。 課題１に対しては、共演者ロボットの汎用アーキテクチャを設計し[参考文献1]、テルミン演奏ロボットを開発した。テルミンとは空中の腕の移動で音高・音量を制御できる無音階の電子楽器である。物理的接触が不要なので、ロボットのハード非依存な高移植性演奏システムを構築できる[主要文献1, 参考文献5]。課題２に対しては、演奏情報抽出のために、雑音に頑健なビートトラッキング[主要文献2, 4] や、フルート演奏のジェスチャ認識[主要文献5,参考文献2]、ギター演奏の視聴覚統合ビートトラッキング[主要文献4, 参考文献6, 参考文献8] 、ロボット自己雑音を抑圧したビートトラッキング[主要文献6]を開発した。また、演奏予測のために、非線形振動子系による合奏モデルを構築し、２人合奏の予測手法[参考文献4]と、合奏リーダーの推定を含む多人数合奏の演奏予測手法を開発した[参考文献9]。課題３については、演奏音・動作を統一的に表現するクロスモーダル感情モデルSIREを構築した [参考文献7]。 これらの成果を用いて、打楽器やフルート演奏者との共演システムを開発し、様々なロボットに演奏機能[主要文献3, 参考文献2, 参考文献3]やダンス機能[主要文献6]を実装した。 IROS 2008 NTF Award for Entertainment Robots and Systems Nomination Finalist in 2008. IROS 2010 NTF Award for Entertainment Robots and Systems in 2010. International Society for Applied Intelligence, Best Paper Award in 2010. IEEE Robotics and Automation Society Japan Chapter Young Award in 2011.