国立研究開発法人 産業技術総合研究所【理事長 中鉢 良治】（以下「産総研」という）知能システム研究部門【研究部門長 河井 良浩】コンピュータビジョン研究グループ 佐藤 雄隆 研究グループ長、佐川 立昌 産業技術企画調査員は、直射日光のような強い外乱光がある環境でも、光源から対象物に投影した模様（パターン）を正確に検出して、高速に運動・変形する物体の形状を計測する手法を開発した。
形状計測には、レーザー距離計測に基づいた形状計測法や、カメラを用いた非接触な計測方法などがある。なかでも、プロジェクターなどの光源からパターンを対象物に投影し、カメラで撮影したパターンを画像処理して対象物の3次元形状を計測する手法は、運動する対象物形状の高解像度な計測に向いている。しかし従来の方法では、直射日光など強い外乱光がある環境では、パターンを投影する光源の出力が太陽光に比べて小さいため、パターンの検出が困難であり計測が難しかった。この課題を解決するために、スペクトラム拡散変調技術というノイズの多い環境下でも小さな出力の電波による通信を可能にする手法を画像処理に応用し、光源の照射方法と画像処理の工夫により形状計測を実現した。これにより、ノイズとなる外乱光を撮影された画像から除去して影響を少なくして、外乱光よりも低出力の光源によって投影されたパターンの検出が可能となった。この技術により、屋外でも運動体を複数方向から同時に計測できるようになるなど、形状計測技術の適用範囲を拡大できる。また、形状計測だけでなく、バーチャルリアリティや埋め込み画像など光源とカメラを組み合わせたさまざまな画像処理法にも適用できるため、広く画像処理技術に貢献することが期待される。
なお、この技術の詳細は、2017年7月21～26日に米国ホノルルで開催されるIEEE Conference on Computer Vision and Pattern Recognition (CVPR2017)で発表される。
 |
| 今回開発した技術による直射日光下での形状計測 |
昨今、産業や社会生活でのロボット利用や、あらゆるモノがインターネットでつながるIoT、バーチャルリアリティといった現実世界とコンピューターを繋いだ技術が実用化されつつある。これらを実現するための重要な要素に、現実世界をコンピューターで処理できるデータとして取り込むセンシング技術がある。その中でも、たとえば、ロボットアームが物体をつかむためには対象物の形状を知る必要があるように、物体の形状計測は多くの場面で必要とされる。
形状計測には、レーザー距離計測に基づいた形状計測法や、カメラを用いた非接触な計測方法などがある。多くの場合、カメラを用いて非接触で形状を計測する方法が適しており、さまざまな方法が開発されている。その一つに、光源からパターンを対象物に投影し、カメラで撮影したパターンのゆがみから3次元形状を計算する方法（パターン投影法）がある。この方法は形状計測が容易で計測の精度もよく、しばしば用いられる。しかし、パターン光源以外に太陽光や照度の高い照明器具などの外乱光があると、パターンが外乱光に埋もれ、画像処理が適切に行えないため、明るい光源が別にある環境下などでは適用できず、その解決が望まれていた。
産総研などでは、これまでに投影パターンとして波線グリッドパターンを用いて、撮像された瞬間の1枚の画像だけから形状を計測できる「ワンショット形状計測法」を開発した（2012年8月2日産総研プレス発表）。高速度カメラを用いれば高速に運動・変形する対象の表面形状の変化も計測可能である。1000コマ／秒を超える速度で撮影された映像から、運動する人体の形状計測や、水面に起こる波などのさまざまな対象の形状計測を実現した。運動する物体の形状計測にはさまざまな応用が考えられ、これまでに、スポーツ運動の解析や医療応用、工場ライン内を流れる物品の計測、衝突変形する物体の解析など多様な応用事例について研究を進めてきた。
しかし、屋外で運動する人体の形状計測などでは、図1に示すように外乱光があるとパターンが埋もれてしまい、画像処理ができない場合があったため、太陽光などの強い外乱光がある環境での形状計測に対応できる技術の開発に取り組むこととした。
 |
| 図1 外乱光の有無による撮影画像の差異 |
太陽光などの外乱光によってパターンの検出が困難になるのは、外乱光に比べてパターンを投影する光源の出力が小さい場合であるが、安全面の問題が生じるなど光源の高出力化には限界がある。一方、携帯電話などの無線通信では、ノイズ除去技術が適用され、ノイズの多い環境でも小さな出力の電波による通信が実現されている。そこで、「ワンショット形状計測法」で、光源から投影されたパターンをカメラで撮影することを、光源からカメラへパターンを通信することとみなし、ノイズ除去技術としてスペクトラム拡散変調技術を用いた。これは、狭い周波数帯域の信号（狭帯域信号）を広い周波数帯域に拡散（変調）して送信する手法である。通信の過程で強いノイズが加えられた場合でも、受信した信号を逆拡散すると、ノイズが広い周波数帯域に拡散されるため、もとの信号を狭帯域に復元し取り出しやすくなる（図2）。
 |
| 図2 スペクトラム拡散変調を用いた通信の概念図 |
今回開発した手法では、パターン光源からの信号を狭帯域信号と考え、スペクトラム拡散変調技術の一つである直接拡散方式を応用して、広い周波数に拡散する。直接拡散方式では、もとの信号に、周波数帯域を拡散させる拡散符号を掛けて信号を拡散（変調）する。ここでは拡散符号として擬似乱数列を用い、それに従って光源をオン、オフ(1,0)させる。つまり、拡散符号にしたがって光源を点滅させながら乱数列の数だけパターンを投影することで狭帯域から広帯域信号へと拡散させる。次に、観測対象上に投影されたパターンはカメラによって撮影され、撮影した画像群と拡散符号との畳み込み演算によって狭帯域に圧縮して逆拡散（復調）させる。このとき画像上のノイズ、外乱光は逆に拡散され、復調時に周波数範囲外として自動的に除去されるので、復調した画像から外乱光の影響を減らせる。そのため、パターンの信号が外乱光に比べて非常に弱い場合でも、長い拡散符号を用いることでパターンを復元できる。外乱光なしで撮影したパターン画像を基準として、復調した画像のピーク信号対雑音比（Peak Signal-to-Noise Ratio(PSNR)）を図3に示す。拡散符号が長いほどPSNRが向上し、外乱光除去効果が増すことがわかる。
 |
| 図3 拡散符号長に対する復調結果のピーク信号対雑音比（PSNR） |
今回開発した手法では、複数の画像を撮影する必要がある。そのため、観測対象が動いたり変形したりする場合には、動きを考慮せずに復調すると、パターンの位置が変わるために復調結果に誤差が発生する。そこで、ハイスピードカメラなどを用いて、観測対象の動きに比べて十分高速に撮影ができる場合には、動きによるパターンの変形が低周波数であると仮定し、復調時に低周波をカットするフィルタリングを行った。その結果、図4で示すように、高速運動する観測対象でもパターンの復調時の誤差を除去して、形状を計測できた。
 |
| 図4 バウンドするボールの計測例
バウンドするボールを、約5万ルクスの直射日光下でハイスピードカメラを用いて22500コマ／秒で撮影した。パターンを投影する光源は直射日光と比べて出力が非常に小さく、入力画像ではパターンはほとんど認識できない。前後255枚の画像からフィルタリングせずに復調した結果では、動きの影響によって、パターンがずれて復調に誤差が生じたが、低周波をカットするフィルタリングを行うと、ボールや手に投影されたパターンを復調でき、形状が復元された。
|
今回開発した手法は、形状計測だけではなく、光源とカメラを組み合わせたさまざまな画像処理法にも適用できる。たとえば、複数の光源・カメラから構成されるシステムや、カメラとディスプレイから構成されるバーチャルリアティシステムなどへの応用が考えられる。また、溶けた金属など自ら発光する物体のような、従来パターン投影が困難であった対象の計測にも有効であると期待される。
例の一つに、照度差ステレオ法への応用がある。照度差ステレオ法は、カメラ1台と複数の光源を用い、複数の特定方向から照明した画像の光源の強度と反射率の違いから画像を復元して形状を計測する手法であり、簡単な画像計算処理で比較的高い精度で計測できる。外乱光がないことが前提とされていたが、今回の手法を用いると、外乱光があっても照度差ステレオ法を使えるようになる。図5は、カメラの周囲に光源であるLEDを複数配置し、さまざまな方向から観測対象を照明するシステムを用いた例である。室内灯の外乱光を除去すると、復調した画像の影でわかるように、特定の方向から照明した画像を復調、形状復元が可能になった。
また、不可視画像の埋め込みにも応用できる。図6では、ディスプレイに人間の目に見える可視画像と同時に、目に見えないパターンを埋め込み、カメラで撮影して復調すると埋め込み画像を検出できるようにした例である。スペクトラム拡散変調により女性の画像を埋め込みパターン列として生成し、可視画像（マンドリルの画像）と共に表示してある。人間の目に女性の画像は見えないが、変調した画像列をカメラで撮影して復調すると、マンドリルの画像は外乱光として除去され、女性の画像を復元して撮影することができた。このような技術は例えば、カメラに見え、かつ人間に見えない情報を提示して画像処理に利用することにより、バーチャルリアティなどの応用に利用することが考えられる。
 |
| 図5 外乱光下での照度差ステレオ法への応用 |
 |
| 図6 映像埋め込みへの応用 |
これまでパターン投影による形状計測法が適用できなかった直射日光下など、さまざまな環境に形状計測を応用し、数年内に本手法に基づいた技術の実用化を目指す。