実世界において多くの場合、音は眼に見えるものの動き（映像）によって生み出される。脳は聞こえた音と見えた映像を統合し、実世界の出来事を理解している。しかし、「稲妻と雷鳴」「打ち上げ花火の光と音」あるいは「空を飛ぶジェット機と爆音」のような遠い距離での出来事では、視聴覚間の統合が不可能になることは経験上よく知られている。これは、光は発生と同時に眼に到達するが、音は1メートル進むのに約3ミリ秒（0.003秒）を要するため、距離が長くなるにつれて光と音を受容する時間差が増大するためである。今まで、どの位の距離まで視聴覚間の情報統合が可能であるかは正確には知られていなかった。
独立行政法人 産業技術総合研究所【理事長 吉川 弘之】（以下「産総研」という） 脳神経情報研究部門【部門長 河野 憲二】認知行動科学研究グループの杉田 陽一研究グループ長は、東北大学電気通信研究所【所長 中村 慶久】の鈴木 陽一教授と共同で、光と音を様々な距離や時間間隔で呈示して、音が鳴った時間と光が点灯した時間が同じであると感じられる時間間隔を測定した。この結果、距離を1メートル長くするたびに音を3ミリ秒ずつ遅れて呈示すると、被験者は同時に呈示されたと感じられることが明らかになった。この時間は、音が大気中を進む速度と一致している。また、この視聴覚間情報統合における補完の限界が約40メートル近辺であることも同時に明らかとなった。
本知見によって、見たものと聞いたものを統合する（いわゆる異種感覚間統合）脳内メカニズムの研究を大幅に加速することができると考えられる。また、現在開発が進んでいる立体テレビや映画などにおいて、情景（画像・音）の奥行き情報を鮮明に再現するための高次臨場感視聴覚情報提示技術の開発を行う上で極めて大きな貢献をなし得る知見であり、かつ超高速デジタルネットワークで接続された高度情報化社会構築においても、高次臨場感マルチモーダル通信の臨場感を更に大きく高めるための重要な技術として貢献できるものと期待される。さらに、ロボット開発における、ロボットが自分を取りまく実世界（環境）を正しく認識する（映像と音の結びつけ）ための基礎技術として極めて重要である。
本研究成果は、自然科学系雑誌ネイチャー（２００３年２月２７日号）に掲載された。
7名の男性被験者に音と光に時間差をつけて呈示し、どちらが先に呈示されたか時間順序を判断させた。頭部伝達関数を畳み込んだ白色雑音（90dB SPL,持続時間10ミリ秒、立ち上がり・立下り時間はそれぞれ4ミリ秒）は、ヘッドホンを通して呈示した。光刺激は、超高輝度発光ダイオードを点灯（持続時間10ミリ秒）した。発光ダイオードと被験者との間の観察距離は、1,5,10,20,30,40,50メートルとした。光強度は、観察距離が1メートルの時に14.5cd/m2、それより長い距離の時には距離の2乗に比例して強度を上げた。
音と光の時間差が十分に大きい時には、被験者は正確な時間順序判断が可能である。ところが、時間差が小さくなるにつれて正確な判断が困難になり、「音が先」という判断と「光が先」という判断が半々になってくる【図1】。この「音が先」という判断と「 光が先 」という判断がそれぞれ50％になる点を、主観的に同時と感じる時間差（主観的等価点）とした。また、「音が先」あるいは「光が先」という判断が75％になった点を、「音が先」あるいは「光が先」であると認識できる時間差（閾値）とした。
観察距離が1メートルの時、音が3ミリ秒程度光より遅れて呈示されると、被験者は音と光が同時に呈示されたと感じた。ところが、観察距離を長くするにつれて、音がより遅れて呈示された時に同時と判断するようになった【図2】。興味深いことに、観察距離を1メートル長くするたびに音を3ミリ秒だけ遅らせて呈示すると、被験者は同時に呈示されたと感じた。これは、音が大気中で1メートル進むのに約3ミリ秒かかることと極めて良く対応している。少なくとも観察距離が10メートル以内であれば、この関係が成立していた。これらの結果は、視聴覚情報を統合する時に、脳が音の時間遅れを観察距離に応じて補正していることを示している。
一方、音が40メートル進むのに約120ミリ秒かかるが、観察距離が40メートルの時に「光が先」と知覚できる閾値は106ミリ秒であった。この結果は、視聴覚情報統合における距離補正が約40メートルを限界としていることを示している。
図1 被験者KKの実験結果。
横軸：音の時間遅れ。
縦軸：光が先に呈示されたと判断した割合。
|
|
図2 観察距離に応じた時間遅れの補正。
主観的等価点（黒丸）と、「音が先」あるいは「光が先」であることを判断できる閾値（白丸）。
縦軸：音の時間遅れ。
横軸：観察距離。点線は、音が実際に到達するまでの時間を表している。
|
視覚情報と聴覚情報を統合する際に、脳は音の時間遅れを補正していることが心理学的に明らかになった。しかし、この補正を実現している神経回路は明らかになっていない。今後は、神経生理学および神経解剖学的研究でこの回路を明らかにしたい。また、奥行き情報を含む3次元視覚情報（画像）と3次元聴覚情報（音）を同時に提示する際の、空間に関する感性情報を最適化する高次臨場感マルチモーダル情報提示技術への応用を図りたい。