国立大学法人 東京大学 生産技術研究所【所長 西尾 茂文】（以下「東大生研」という）池内研究室（池内 克史 教授）と独立行政法人 産業技術総合研究所【理事長 吉川 弘之】（以下「産総研」という）知能システム研究部門【部門長 平井 成興】ヒューマノイド研究グループ（比留川 博久 グループ長）は共同で、ヒューマノイドロボット（人間型二足歩行ロボット）HRP-2に会津磐梯山踊りを踊らせることに成功しました。
まず、会津磐梯山踊りを 山田 久子 師範を始めとする会津民謡玉水会の皆様に踊っていただき、これをモーションキャプチャシステムで観測し、体の各部の動き情報を得ました。その動き情報を師範を始めとする皆様と共同で仔細に検討し、会津磐梯山踊りの特徴的な動きを抽出しました。これらの特長となる動きに基づきこれらを忠実に保持しつつ、ヒューマノイドロボットで実行可能な動きに変換する作業を行い、ロボットの命令列を作成しました。この命令列をヒューマノイドロボットに与えることによりロボットの会津磐梯山踊りを実現したものです。ポイントといたしましては、
-
人間の踊りを観察し、踊りの特徴的な動きを自動抽出
-
踊りの特徴を保持しつつ、ヒューマノイドロボットの動きを生成
-
ヒューマノイドロボットと人間の共演の成功
といった3点です。
 |
|
図 人とロボットの会津磐梯山踊り
|
日々失われ行く文化遺産を最新の工学技法を用いて保存する努力の必要性は論をまちません。東大生研池内研究室では、画像処理技術を用いて文化遺産をデジタル保存する研究を進めてきました。文化遺産は、大仏や正倉院御物といった「静」的な有形文化財と、能や民俗舞踊や神楽、匠の技、茶道の手前といった「動」的な文化財（ここではこれらを総称して無形文化財と呼ぶ）に分類できます。「静」的な有形文化財に関しては、形の情報を得るための3次元形状計測や、表面の色・艶を表現するための表面特性解析アルゴリズム、光源環境を再構成する光源環境推定アルゴリズムなどが主な研究項目です。池内研究室はこれらのアルゴリズムの開発を行い、鎌倉や奈良の大仏、タイのスリチャム寺院のデジタル化などに成功しました。
これらの「静」的な有形文化財に対して、「動」的な無形文化財も多く存在しています。無形文化財の保存は主に人から人への直接的な伝承が主たる保存方法でした。これらの無形文化財に関しても何らかのデジタル的な保存技術が早急に確立されなければなりません。
無形文化財は、その中心表現が演者の動きの中に込められています。従って、動きをどのように記録するか、動きをどのように再現するかが研究の中心課題となります。無形文化財のデジタル化は、単純に考えると演者の動きをビデオで採録し、必要に応じて再生を行えばよいことになります。実際、そのような民俗芸能のアーカイブも存在します。しかし、このようなビデオテープは、今後の後継者を育成するための素材を提供しているだけで、本来の意味での後継者を得、その民俗芸能の踊りなり匠の技法を継承したことにはなりません。我々は、ヒューマノイドロボットをこの後継者に育てることを提案します。即ち、ヒューマノイドロボットをメディアとして、これに各種の芸能・技能を動的にアーカイブし、無形文化財を継承する試みをヒューマノイドロボット研究に高い実績のある産総研 知能システム研究部門 ヒューマノイド研究グループと共同で始めました。この第一弾として、会津磐梯山踊りのヒューマノイドロボットによる再現を試み、それと人間の踊りとの共演に成功しました。
動きの取得には光学式のモーションキャプチャシステムを使用しました。山田師範を始めとする会津民謡玉水会の皆様の身体の各部に特殊なマーカをテープなどで取り付けます。これを多数の方向から特殊なカメラで観測することによりマーカの各時刻の位置がコンピュータ内に記録されます。記録された位置をつなぎ合わせることで各部の動き情報が得られます【図1参照】。
動きの解析は、入力されたモーションキャプチャデータに基づいて行われます。動作解析システムは、まず何をするかという「タスクモデル」を動きデータから切り出します。次にどのようにするかという「スキルモデル」を得るというタスク・スキル認識という人間行動観察学習システムの大方針に基づいています。
この際、図２に示しますように、体の安定性を重要視する下半身の動きと、踊りの特徴をより大きく表現する上半身の動きでは、少し異なった枠組みでタスク・スキルを解析しました。これらの解析結果に基づき、ロボットの各部の動き列を生成し、ロボットの各部の大きさに基づき再調整を行い、実際のロボットの命令列を作りだしたものです。
下半身の解析では、踊りの安定性を保つため、基本的なタスク（動作）モデルとして、右踏み出し、左踏み出し、沈みこみ、たちという4つのモデルを最初からトップダウン的に設計しました【図3・4参照】。
図3 グリッド別の排出量や濃度の数値の参照が可能に
|
|
タスク
モデル |
たち
|
沈み込み
|
踏み出し
|
 |
 |
  |
スキル
パラメータ |
持続時間
|
歩幅
深さ
|
歩幅
最高点
|
図4 タスクモデルとスキルパラメータ
|
動作解析システムは、これらのモデルに基づいてデータ列を認識し、今何をしているのかというタスク認識を行います【図5参照】。タスクが認識された後、スキルパラメータを得ます。各タスクモデルには、例えば、歩幅・脚の上げる高さといった「どのように今のタスクを行うのか」あるいは「画像のどこを見ればそれが得られるのか」といったスキルのパラメータ情報が書いてあります。これらのスキルモデルを利用して、スキルパラメータを動きデータから得ます。最後に、得られたスキルパラメータの値からロボットの足の軌道を生成します【図6参照】。
図5 タスク認識結果
|
|
図6 軌道生成
|
上半身の解析でもタスク・スキルモデルの概念を用いて動作解析システム設計をしました。ただし、上半身の場合は、タスクモデルの数が多くなるため、データ列から自動的にこれを得る方式も開発しました。踊りは、「留め」と呼ばれる重要なポーズからなることが知られています。この「留め」をタスクと考え、これを音楽情報と手足の動きの微小な停留を利用して抽出したものが図７の中央下部分です。一方この方式の妥当性を検証するため、会津磐梯山踊りの山田師範にも図７の右にありますようなスケッチ作成をお願いし、図７の中央上部にある「留め」に対応する画像を抽出し、両者を比較しました。
ロボットが安定して立っているためには、ゼロモーメントポイント（ZMP）と呼ばれる重心のようなものが脚の接地面の中に入っている必要があります。下半身のタスクモデルのみで設計した脚の運動では、下半身だけの動きを考慮しているため、上半身の動きを追加するとこれが崩れてしまいます。そこで、産総研で開発された動力学シミュレータを利用して、ZMPが足裏境界にある部分に関して、もともとの脚の軌道から始めて、少しずつ軌道を微調整させることにより、最終的に常にZMPが足裏内部にはいっているような、安定なロボットの全身運動を得ました。図８に人とロボットの会津磐梯山踊りの系列写真を載せました。
本発表は、人間の行動を見てそれをまねるという人間行動観察学習パラダイムをベースに、山田師範を始めとする会津民謡玉水会の皆様方の実際の踊りデータに基づいて、ヒューマノイドロボットと人間の共演を実現したものです。
一般に、ヒューマノイドロボットにより伝統芸能・技法を動的にアーカイブすることにより、
-
後継者難から日々失われつつある伝統芸能・技法の後継者としてのヒューマノイドロボット
-
開発された機能を使用し、ロボットの新しい舞踏を作成することによりヒューマノイドロボットをメディアとした新しいメディア芸術の可能性
-
ヒューマノイドロボットによる高度な動きの実現や高度なヒューマノイドロボット設計上の問題点の明確化
といった３つのメリットがあると考えております。
最後に、本研究開発プロジェクトのうち東大生研分に関しましては、独立行政法人 科学技術振興機構【理事長 沖村 憲樹】の戦略的創造研究推進事業CREST「文化遺産の高度メディアコンテンツ化のための自動化手法」の支援を受け、産総研分に関しましては、川田工業株式会社【代表取締役社長 多田 勝彦】の協力を得たことを申し添えます。