独立行政法人 産業技術総合研究所【理事長 野間口 有】（以下「産総研」という）知能システム研究部門【研究部門長 比留川 博久】サービスロボティクス研究グループ 佐川 立昌 研究員は、国立大学法人 鹿児島大学【学長 吉田 浩己】大学院理工学研究科（工学系） 情報生体システム工学専攻 川崎 洋 教授、公立大学法人 広島市立大学【理事長(学長) 浅田 尚紀】大学院情報科学研究科 知能工学専攻 古川 亮 准教授、青木 広宙 特任准教授と共同で、運動・変形する物体表面の形状を高速・高精度・高密度に計測する手法を開発した。
この技術は、波線からなる格子パターン光を物体に投影し、カメラで撮影することで、撮像された瞬間の物体表面の3次元形状を計測可能とするものである。さらに、高速度カメラを使えば、非常に速く運動・変形する物体の計測もできる。従来の技術ではなしえなかった、高速・精密な形状計測を同時に実現することで、運動する人体の観測による人間の運動解析や医療への応用、柔軟に変形する衣服のモデリング、また、衝突による構造物の変形のような高速な事象における材料・構造物の解析などへの利用が期待される。
なお、この技術の詳細は、2012年8月6日～8日に福岡で開催される第15回画像の認識・理解シンポジウム（MIRU）および2012年8月28日～9月1日に米国サンディエゴで開催されるThe 34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC2012)で発表される。
 |
|
図1 波線格子パターンの投影による動作の計測(上段：入力画像/下段：形状計測結果) |
昨今、ダイナミックに変化する対象の3次元シーンの計測が注目されている。例えば、人物を瞬時に計測してその動きを解析することで、デバイスの装着が要らないゲーム用製品が成功を収めている。また、そのような製品を自律移動するロボットの目として利用する研究も進められており、計測対象あるいは計測者が動く動的シーン計測の重要性が強く認識されるようになってきている。しかし現在、このような用途で動いている物体を計測するセンサーは、撮影できるフレームレートが限定的（～30コマ／秒）で、精度や密度に関してもさまざまな測定を行ううえで十分と言えるものではなかった。高速・精密な形状計測を同時に実現することができれば、医療応用や流体解析など、3次元形状計測技術の応用範囲が格段に広がると考えられる。
産総研、鹿児島大学、広島市立大学では、これまで形状計測技術をマルチメディア、医療、材料解析、サービスロボット、ロボット安全技術などのさまざまな分野に応用することを目指した研究を進めており、その一環としてパターン光投影に基づいた形状計測技術の開発に取り組んできた。今回、従来課題となっていた応用範囲の拡大や、測定の自由度の向上を図った手法を開発した。
なお、この研究開発の一部は、総務省戦略的情報通信研究開発制度ICTイノベーション創出型研究開発「4次元メディアシステムの研究開発（平成22～24年度）」および、内閣府 最先端・次世代研究開発支援プログラム「人体の内外表面形状すべてをリアルタイム計測するシステム～表情筋の動き計測から腸内壁の形状取得まで～（平成22～25年度）」の支援を受けて行った。
今回開発した手法は、プロジェクターなどの光源からパターン光を投影し、カメラで撮影したパターンを画像処理することで、撮影した物体の3次元表面形状を計測する。撮像された瞬間の1枚の画像だけでその形状を得ることができるため、高速度カメラを用いれば、高速に運動・変形する対象の表面形状の測定も可能である。図2にカメラとプロジェクターの配置例を示す。
 |
|
図2 プロジェクターとカメラを用いた計測システム |
この技術は、まず、対象とする物体に、図2左に示すような縦・横の波線からなる格子パターンを投影する。画像処理によって物体表面に投影された波線を検出し、線がどのようにつながっているかを示す交点グラフを作成する。各交点は、投影したパターンと撮影したカメラ画像で1対1に対応するので、交点の組み合わせを最適化し、投影パターンと画像の各交点の対応を決定する。対応が決まると三角測量によって交点の3次元位置が計測できる。最後に、画像のすべての画素について交点を補間し、計算した形状が画像と一致するように最適化し、高密度な形状を生成する。図3は手法の流れを説明したものである。図4は左から、入力画像、線検出によって生成した交点グラフ、交点の3次元位置を計算した結果、すべての画素について3次元位置を計算して得られた形状である。
 |
|
図3 手法の流れ |
 |
|
|
|
図4 3次元位置を計算した結果 |
単一の画像から表面形状を復元するため、撮像の各瞬間の形状計測ができる。特に、高速度カメラを使って高速に変化する事象を計測できるという利点を持つ。図5は、水面にパターン投影できるようにした水槽の中で波を起こし、その形状変化を計測したものである。250コマ／秒で撮影することで、複雑に変化する波の形状を捉えられる。図6はバットでボールを打った瞬間のボールの形状変化を2000コマ／秒の高速度で撮影して計測した結果である。ボールがバットに接している時間は非常に短いが、ボールが潰れている様子がよくわかる。
 |
図5 水面の波の計測
（左：入力画像/右：形状計測結果 斜め上視点、横視点） |
 |
図6 ボールヒッティングの計測
（左：入力画像/右上段：上方視点から見た形状計測結果/右下段： 形状に画像を貼った結果） |
動作計測の例として、図7にじゃんけん動作や、図1にパンチング動作を示す。モーションキャプチャシステムでは計測が困難な、衣服のしわや、手の細かな形状も計測できる。従来のモーションキャプチャシステムでは数十点の位置を計測するのに対して、この技術では、数万点の位置を高密度に計測できる。一方、市販ゲームに用いられているあるセンサーでは、1～2 cmの誤差があるのに対し、この技術では1～2 mmの誤差と高精度である。また、今後は計算機の性能を向上させ、撮影しながら形状を得るリアルタイム計測をめざしている。高速・精密な形状計測をリアルタイムに行うことが可能となれば、現在多くの企業が開発に取り組んでいる、
ナチュラルインターフェースにブレークスルーをもたらす技術となる。
 |
|
図7 じゃんけん動作の計測（上段：入力画像/下段：形状計測結果） |
この技術は、固定した格子パターンの投影により形状計測できる。その単純さにより、同じ技術を異なる機器に柔軟に適用できる。その例として、立体視できる顕微鏡を使って極小領域にパターン光を投影するステムを構築し、顕微鏡画像から形状を計測した例を図8に示す。パターンは約0.05 mm間隔で投影されており、米国1セント硬貨に描かれた横顔の凹凸が1枚の画像から計測できることがわかる。
 |
図8 顕微鏡画像を使った米国1セント硬貨形状計測
（中右：入力画像/右：形状計測結果） |
今回の計測法の医療分野への応用の一つに、非接触心拍計測がある。従来心拍計測には心電図計が広く使われているが、体表に電極を設置する必要があるため、被験者への負担・拘束感や電極が不意に外れることが問題となっていた。非接触で計測することで、これらの問題点が解決される。さらに、拍動情報を面的に捉えられるので、新たな心疾患スクリーニング手法への展開が期待される。図9に示すように、胸部を100コマ／秒で計測し、その形状変化から心拍周期を抽出した。心電図計と比較すると、波形のピーク間隔について相関を持つことから非接触で心拍が計測できることがわかる。
 |
|
図9 形状計測を応用した非接触心拍計測 |
今回開発した計測手法について、マルチメディア、医療、スポーツ、材料解析など従来、形状変化が起こるために形状の計測が十分に行われていなかったさまざまな分野への応用を進めるなど、本計測手法の応用範囲を広げていく予定である。