独立行政法人 産業技術総合研究所【理事長 吉川 弘之】（以下「産総研」という）人間福祉医工学研究部門【部門長 斎田 真也】の 森川 治 主任研究員と情報技術研究部門【部門長 坂上 勝彦】の 戸田 賢二 主任研究員らは、複数の異なる形式の映像を1つの画面に同時に表示する新方式（VPS方式：Virtual Projectors and a Screen）の表示装置（VPSディスプレー）の試作に成功した。今回試作に成功したVPSディスプレーは、1つの画面に複数の異なる形式の映像を同時に、それぞれの映像は互いに影響することなく、自由な大きさや位置に表示することが可能である。
従来、複数の映像を1画面に同時表示する場合は、コンピュータや専用の装置で入力映像信号を合成するか、表示装置側の画面分割機能やピクチャinピクチャなどの機能（入力数、入出力形式が限定される）を用いるしか方法がなかった。しかし、コンピュータや専用の装置は機能的には自由度が大きいが、操作が難しく万人向けではなかった。また、表示装置側の機能を利用する場合は、例えば同じ種類の映像信号に限る、画面数が限られている、重なりは許さない等々の制約が多く自由度が小さいのが現状である。
今回開発した映像の新表示方式は、スクリーンに、プロジェクタを使って、複数の映像を投影する状況を電子的に模倣したものであり、仮想プロジェクタ・スクリーン（VPS ： Virtual Projectors and a Screen）」方式と呼ぶ。VPS方式の表示装置（以下、VPSディスプレー）は、複数台の仮想プロジェクタ、仮想プロジェクタに対応するレイヤ構造をもった仮想スクリーン、仮想スクリーンの内容を実際に表示する表示部、の3つから構成される。
仮想プロジェクタは入力映像信号毎に用意されており、それぞれの映像は互いに影響することなく、自由に大きさや位置を変更することができる。映像の重なり部分はユーザの指定する優先順位で表示したり、色など特定の条件で透明化するなどの処理も可能である。また、入力映像信号の形式が異なる場合も対応可能である。例えば、デジタルカメラ等の静止画やハイビジョンテレビ信号、コンピュータ出力など多様な、解像度の異なる種類の映像信号が入力可能である。今回は試作のため、入力映像信号数は3つ、入力映像信号形式はNTSC（日本で採用されているカラーテレビの映像信号規格）信号とDVI（コンピュータ用デジタル映像インターフェース規格）信号、表示部は画像演算後再び映像信号として外部に取り出し、市販の液晶ディスプレーによる表示であるが、容易に入力映像信号数の増加、他の異なる形式の入力映像信号への対応、液晶パネルや発光素子の直接駆動も可能である。
VPSディスプレーは、操作が簡単で、例えば、表示したいビデオやデジタルカメラをつないでまず表示させ、リモコン操作でそれらの表示位置や大きさを好きなように、その場で修正するだけで使える。入力機器は、不要になれば、接続をやめたり、電源を切ればその映像だけ表示が中止され、追加も削除も自由自在である。専門的知識がなくても、誰でもが容易に扱うことが可能である。
今回の試作でVPSディスプレーの機能が実証できたので、今後は仮想プロジェクタの扱う入力映像信号の多様化と同時に、実現コスト削減の観点から回路の最適化を行い、製品化を念頭においたVPSディスプレーの開発を行う予定である。
 |
|
図1．異なる形式の映像を、重なりを許して自由な位置に同時表示（VPSディスプレーの利用例） |
産総研 人間福祉医工学研究部門では、情報技術（IT）革命によってもたらされる情報や製品を、すべての利用者にとって価値のあるものにすることを目標に、研究を進めている。わかりやすいウェブ画面のデザイン、合成映像を使って対話するハイパーミラー遠隔対話方式の研究、内視鏡手術の手術研修用実体模型システムなどの研究を行っている。これらの研究過程で、複数の映像を同時に表示することが効果的な場面が多いことを見出した。
複数の映像の同時表示が有効な事例として、産総研 人間福祉医工学研究部門が研究を行っている、内視鏡手術用のディスプレーを例にとると、内視鏡の画面と手術に有効な補助情報の画面をそれぞれ別の画面に表示した場合、手術する医師は、内視鏡の画面に加えて、補助情報の画面を見る必要がある【図2-A参照】。しかし、補助情報の画面を見るためには、視線を大きく移動させなければならず効率的ではない。そこで、これらの映像信号（内視鏡カメラの信号（NTSC信号）とコンピュータ（補助情報）の映像信号（解像度800×600画素のアナログRGB（コンピュータ用アナログ映像信号の規格）信号）を統合して、1つの画面に表示することにより、視線を移動させることなく内視鏡の画面と手術に有効な補助情報の画面を同時に見ることが可能になる【図2-B参照】。さらに内視鏡カメラの傾き（図3上段右の黄色線）を同時表示することにより、内視鏡カメラ映像の水平線を直感的に理解できるように改善される【図3下段参照】。このように1つの画面に複数の映像を同時に表示することは、効率的なわかりやすい画像認識を行う上で非常に効果的である。
 |
|
Ａ：2つの画面を見る
|
Ｂ：統合された1つの画面を見る
|
|
図2．内視鏡画面と補助情報画面を別表示、統合表示した場合の違い
|
 |
|
図3．内視鏡手術用の画面の例。内視鏡画面と補助情報画面（上段）、統合した画面（下段） |
複数の映像を1つの画面に表示するには、内視鏡カメラの入力映像信号（NTSC信号）をコンピュータに取り込み、入力映像信号を合成して出力する「コンピュータによる映像合成」か、あるいは、コンピュータ（補助情報）の映像信号（解像度800×600画素のアナログRGB信号）を内視鏡カメラと同じ映像信号（NTSC信号）にスキャンコンバータを使って変換し、画像合成装置により合成映像信号（NTSC信号）をつくり、それを標準ディスプレーで表示する「画像合成装置による映像合成」【図4上段参照】で実現可能である。現在、産総研 人間福祉医工学研究部門では、画像合成装置による映像合成で複数の映像の同時表示を実現しているが、装置は大きく、設置、配線、調整も複雑で価格も高価なシステムとなっている。また、コンピュータによる映像合成の場合も、専用のソフトウエアが必要であり、装置の設定や操作が複雑で時間もかかるため、一般視聴者が手軽に実現することは困難である。
そこで、「コンピュータや画像合成装置で合成した入力映像信号を表示装置に送る」というこれまでの発想を逆転させ、「複数の入力映像信号をそのまま受け取り、内部で処理して同時表示する」という形式の新しい表示手法を考案した【図1、4下段参照】。
この新しい表示手法に関する研究開発を、同じく産総研の情報技術研究部門と共同で進めている。同部門では高性能な組込システムの研究を行っており、FPGA（論理回路が書き換え可能なLSIチップ）を用いた処理の高速化や並列分散化の研究を行ってきている。今回の試作でもその技術を活用した。
|
|
|
図4．統合した画面を得る手段
画像合成装置を使う現在の手段（上段）、新しい表示手法の場合（下段） |
1．VPSディスプレーの詳細
今回開発した新方式の表示方式は、スクリーンに、プロジェクタを使って、いくつもの映像を投影する状況を電子的に模倣したものであり、仮想プロジェクタ・スクリーン（VPS ： Virtual Projectors and a Screen）」方式と呼ぶ【図5参照】。
 |
図5．VPSの動作原理
3台のプロジェクタによる同時表示の例。入力映像信号に対応するプロジェクタを追加すれば、画面にその映像が追加される。これと同じことを電子的に模倣する。
|
VPS方式の表示装置（VPSディスプレー）は、複数台の仮想プロジェクタ、仮想プロジェクタに対応するレイヤ構造をもった仮想スクリーン、仮想スクリーンの内容を実際に表示する表示部、の3つから構成される【図6参照】。複数の仮想プロジェクタおよび表示部はお互いに非同期で動作する。
仮想スクリーンの実体はコンピュータなどに使われているメモリ（記憶装置）であり、仮想プロジェクタはそこへの書き込み回路である。表示部は簡単な構造の画像処理回路と駆動回路であり、仮想スクリーンの各レイヤからデータを読み取り、どのレイヤのデータをどのように加工して表示すべきかを、画素ごとに演算して液晶パネルや発光素子を駆動する。
 |
|
図6．VPSディスプレーの構成図（4入力の構成例）
|
複数の入力映像信号は、対応する仮想プロジェクタを使って、仮想スクリーンの自由な位置に投影される。投影されるレイヤは仮想プロジェクタに対応するものとする。仮想プロジェクタは入力映像信号毎に独立であるため、従来の映像信号の規格に縛られる必要はない。仮想プロジェクタさえ用意すれば、入力映像信号はNTSC信号規格の30コマ／秒でなくても、各画面が長方形でなくてもよい。例えば「動きがあるときの変化した部分（長方形領域とは限らない）だけ」という自由な形状の映像信号であってもよい。
すべての入力映像信号は、仮想プロジェクタにより投影され、仮想スクリーン上で均一の2次元映像となる。実際の表示は、表示部が仮想スクリーンの内容を読み取り、各レイヤの内容をどのように組み合わせて表示するかを決定する。利用者は、仮想スクリーンへの投影位置と投影したレイヤの表示の優先順位を指示するだけでよい。
VPSディスプレーは、操作が簡単で、例えば、表示したいビデオやデジカメをつないでまず表示させ、リモコン操作でそれらの表示位置や大きさを好きなように、その場で修正するだけで使える。入力機器は、不要になれば、接続をやめたり、電源を切ればその映像だけ表示が中止され、追加も削除も自由自在である。専門的知識がなくとも、誰でもが容易に扱うことが可能である。
更なる利点として、カメラの映像信号（NTSC信号）とコンピュータの映像信号（解像度800×600画素のアナログRGB信号）を、画像合成装置を用いて同時に表示する場合、コンピュータで書いた文字はコンピュータの映像信号（解像度800×600画素のアナログRGB信号）では鮮明であっても、カメラの映像信号（NTSC信号）に変換する際、画像が劣化し、ぼやけた読みにくい文字になってしまうが、VPSディスプレーでは、コンピュータからの映像信号が直接表示されるため、このような不都合は生じない。
2．試作機
仮想プロジェクタ3台を有するVPSディスプレーを試作した。仮想プロジェクタへの入力映像信号はNTSC信号あるいはDVI信号とし、仮想スクリーンの画面サイズは1280×1024画素とした。NTSC信号、DVI信号は、長方形で表示されるため、従来のNTSC信号、DVI信号に対応している表示装置では、例えば内視鏡カメラ映像のような丸い映像はそのままでは扱えないが、VPSディスプレーでは、丸い映像を定義し、対応する仮想プロジェクタを用意すれば、そのまま扱うことができる。
実際の内視鏡カメラの場合には、丸い映像の周囲の色を黒で埋めることにより、全体を長方形の映像にしてNTSC信号としているが、試作機でも自由な形状の素材映像を扱うために、特別な「透明色」を用意した。すなわち、自由形状の素材映像を扱う場合には、周囲に「透明色」を付加することで、長方形のNTSC信号として入力することとした。
試作機では、回路設計の容易化のため、高速なFPGA（論理回路が書き換え可能なLSIチップ）を4個用いた、かなり処理能力に余裕を持った設計となっているが【図7参照】（図7の点線で囲まれた部分が、それぞれ1つのFPGAを表している）、製品化の際には、専用のLSIチップを開発する等により低価格化が可能である。
 |
|
図7．VPSディスプレー試作機のブロック図
|
試作機では入力映像信号をNTSC信号とDVI信号に限定したため、素材映像がNTSC信号による動画とDVI信号による画像であったが、仮想プロジェクタを変更することで、静止画と動画の組み合わせや、WEBカメラ、測定機器の出力、コンピュータ画面との組み合わせなども可能となる。また、同装置を複数用意し、それらに同一の入力映像信号を与え、それぞれの映像の表示位置を調整することで、簡単に大画面を実現することも可能である【図8参照】。
 |
|
図8．4台組み合わせて大画面を実現した例
|
また、VPSディディスプレーの応用として立体映像がある。放送局側で、近くのもの、遠くのものを別の素材映像として放送することで、視聴者は簡単に立体映像を作り出すことが出来るようになる。素材映像の表示位置を、見る人の動きと連動して左右に動かすことにより、視聴者は、映像に奥行きを感じることが出来る。これが、運動視差による立体映像放送である。すなわち、受信した素材映像をVPSディスプレーの別々のレイヤに投影する。視聴者の動きをセンサーなどで検出し、検出値に応じて表示位置を素材映像毎に左右に動かす。動かし方は、視聴者の動きの反対方向に、近くのものほど大きく動かすことで立体映像が得られる。さらに、運動視差と同じ仕掛けで、両眼視差の立体映像も簡単に作り出すことができる。ヘッド・マウント・ディスプレーの表示部をVPSディスプレーとし、素材映像の奥行きに応じて表示位置を左右に少しずらして表示し、さらにずらし方を右眼用、左眼用として2通りの映像を作り出すことで、立体映像が得られる【図9参照】。将来、VPSディスプレーが普及し、放送局側で、近くのもの、遠くのものを別の素材映像として放送することで家庭でも手軽に立体映像を楽しむことも可能となる。
 |
図9．立体映像の例
「運動視差による立体映像（左）」
距離に応じた素材映像（ここでは山と車）が入力されるとき、視聴者の動きを検出し、近くの物ほど視聴者の動きと反対方向にずらして表示することで、立体感を得る（運動視差による立体視）。
「両眼視差による立体映像（右）」
ヘッド・マウント・ディスプレーの表示部にVPSディスプレーを採用することにより、それぞれ左右の目の位置での映像を作り与えることにより立体感を得る（両眼視差による立体視）。
|
今回の試作でVPSディスプレーの機能が実証できたので、今後は仮想プロジェクタの扱う入力映像信号の多様化と同時に、実現コスト削減の観点から回路の最適化を行い、製品化を念頭においたVPSディスプレーの開発を行う予定である。
将来、VPSの大部分の処理が専用LSIチップ化されれば、VPSディスプレーは小型軽量化が図られ、安価になる。世の中に普及することにより、VPSディスプレーがあらゆるディスプレーの標準となり、テレビ視聴を始め、自動車など多くのメータの一括表示装置など、日常のいろいろな場面に利用されることが期待される。