国立研究開発法人 産業技術総合研究所（以下「産総研」という）センシングシステム研究センター ハイブリッドセンシングデバイス研究チーム 竹井 裕介 研究チーム長、竹下 俊弘 主任研究員、国立大学法人 東北大学（以下「東北大」という） 大学院情報科学研究科 応用情報科学専攻・人間-ロボット情報学 昆陽 雅司 准教授国立大学法人 筑波大学（以下「筑波大」という） システム情報系 応用触覚研究室 蜂須 拓 助教、株式会社Adansons（以下「Adansons」という） 中屋 悠資 取締役CTO、は、極薄ハプティックMEMSによるハプティックデバイスを活用した「双方向リモート触覚伝達システム」を開発しました。
同システムは、触覚デバイスと触覚信号編集技術を組み合わせることで、幅広い周波数帯域の触覚信号を体験できるため、指先で触れる操作や握手などの触覚情報を手首で計測し、相手側に伝えることができる特徴があります。エンターテインメント領域でのよりリアルな振動配信の創出、遠隔地での振動体験の共有などの使用例を想定しています。
なお、この技術の詳細は、2024年3月8日～16日に米国テキサス州オースティンで開催されるSXSW Conference & Festivals 2024で発表されます。
現在、「触覚技術」はエンターテインメント領域でも盛んに利用されています。しかし、スマートフォンや家庭用ゲーム機などに搭載されている従来のLRA型振動発生素子では、利用できる振動帯域が限られること(150～250ヘルツ程度)や、振動発生のみの単機能であること、実装スペースの確保が必要であることなどの課題がありました。また、コンテンツ作成の際に必要となる「体感振動計測」においても、既存のソフトウエア技術では、計測時に本来伝えたい振動信号のほか、運動によるノイズや身体に由来する心臓の鼓動音などの振動も含まれてしまうことで振動信号が不明瞭になってしまうという課題がありました。
前述のハードウエア・ソフトウエア面での課題に対し、これまで産総研センシングシステム研究センターは、オムロン株式会社エレクトロニック＆メカニカルコンポーネントビジネスカンパニーと共同で、極薄MEMSを実装した世界最薄・最軽量のハプティック用フィルムを開発してきました。（「多彩な皮膚感覚を生み出すフィルム状の振動デバイス」2021年1月18日 産総研プレス発表）
今回の発表では、そのハプティックフィルムを搭載したデバイスに各種の信号処理技術を適用することで、振動によるリアルな体感・体験の共有を実現しています。
なお、本研究の成果は、国立研究開発法人 新エネルギー・産業技術総合開発機構（NEDO）の委託事業の結果得られたものです。
本研究では、産総研の「極薄MEMS素子」によるハプティックデバイス、東北大の「信号強調・変換技術（ISM）」、筑波大が開発した「非言語的行動・反応のデフォルメ生成技術」、Adansonsが開発した振動データの特徴抽出を行う「参照系AI」の以下に示す4要素を組み合わせることにより、「ヒトが感じることのできる全ての周波数帯域の振動を表現可能」で「伝えたい振動を強調できる」触覚共有システムを開発しました。
- 産総研「極薄MEMS素子によるハプティックデバイス」
ハードウエアとして、振動を表現できるだけでなく計測することができるデバイスを開発しました。厚さわずか10マイクロメートルと薄くて軽い極薄MEMS素子に、「曲げると電圧が生じる」正圧電効果を利用した振動センサー、「電圧を印加するとひずむ」逆電圧効果を利用した振動発生素子という二つの働きを担わせているため、素子サイズを変えることなく双方向の触覚共有が可能となりました。例えば、手首につける「リストバンド型」や「ネイル型」、「指輪型」、「ペン型」など、使用者のニーズや用途に合わせたデバイスが作製できます(図１)。リストバンド型デバイスの場合、手指が拘束されないことから「スマートフォンを持ちながら触覚による演出を楽しむ」、「触覚を共有しながら工場作業などの技能伝達を行う」などのシーンで活用できます。
図１ ハプティックデバイスの活用例。指輪型、ネイル型（左）、ペン型（右）
本研究の極薄MEMSをハプティクデバイスに採用した場合、ヒトが感じることのできる幅広い周波数帯域（1～1,000ヘルツ）で、振動の発生とセンシングの二つの機能を両立し、さらに、複数素子で多チャンネル化した場合にも薄く軽量なため省スペース化できるといった、従来技術に無いメリットがあります。
- 東北大「体感振動の強調・変調技術（ISM）」
ソフトウエア要素の一つとして、信号処理技術「ISM（Intensity Segment Modulation）」を開発しました。ISMは、接触振動や音響振動などの高周波信号に対し、ヒトの触覚知覚特性に基づいて計算を行うことで、触感を保ちながらデバイスで再生しやすい低周波の信号に変換する技術です。これにより、小型の振動子でもより広帯域な体感振動の提供が可能となり、「ユーザーが感じやすい振動体験」を創出することができます。
極薄MEMS素子によるハプティックデバイスにISMを適用した場合、極薄MEMSの持つ「高周波帯域で駆動ができる」「特性が周波数によらず一定である」などの特性を活かし、振動をより体感しやすい信号に変換できるため、微細な体感の違いを表現できる、音楽信号の体感振動も再生可能になるなどのメリットが確認されました。同技術は今回のシステムにおいて「伝えたい振動を強調する」という働きをしています（図２）。
図2 リストバンド型デバイスによる「切削加工」の触覚共有イメージ
- Adansons「独自AIによるデータ抽出」
ソフトウエア要素の一つとして、独自の「参照系AI」技術を開発しました。本技術を利用することで、元となるデータから必要なデータを瞬時に抽出することが可能です。本技術は入力信号をデータの特徴量ごとに分解できるのが特徴であり、今回のシステムにおいて「伝えたい振動のみを抽出する」という働きをしています。
- 筑波大「オンラインコミュニケーションにおける触覚情報の伝達システム」
ソフトウエア要素の一つとして、独自の双方向リモート触覚伝達システムを開発しました。オンライン会議などの場では、表情や生理反応などの非言語的行動が伝わりにくいという問題がありますが、脈拍のデータをデフォルメした疑似脈拍データを生成し、通信回線によりリモート再生した場合の効果を検証しました。今回のシステムにおいて「触覚を介した表現ができる独自の情動表現技術」として働いています。
今後、同技術が多くの分野において価値創出されるよう、技術面だけではなくコンテンツ創出にも取り組んでいきます。
体感振動はエンターテインメント分野のみならず、非言語的な技術継承がなされてきた手工・加工などのハンドメイドによる作業現場での導入、スポーツ中継などでプレイヤーの心理状態を観戦者に伝える新規コンテンツなど、振動による「心理」「技術」、そしてリモートで振動を介して共有することによる「体感」の3方向を軸に、技術とコンテンツの融合を進める方針です。
展示会名称：SXSW（サウス・バイ・サウスウエスト） Conference & Festivals 2024、Creative Industries EXPO、ブース番号1423
本成果展示期間：2024年3月10日～3月13日
URL：https://www.sxsw.com/
スポーツ中継やショート動画などの動画/音声のコンテンツと触覚情報を合わせた新たなユーザー体験の一例を展示します。