国立研究開発法人 産業技術総合研究所【理事長 中鉢 良治】（以下「産総研」という）情報技術研究部門【研究部門長 田中 良夫】後藤 真孝 首席研究員、同部門 メディアインタラクション研究グループ【研究グループ長 濱崎 雅弘】井上 隆広 テクニカルスタッフ、尾形 正泰 研究員、加藤 淳 研究員らは、音楽の再生にインターネット経由で同期して多様な機器を制御することで一体感のある演出ができる大規模音楽連動制御プラットフォーム「Songle Sync（ソングルシンク）」（http://api.songle.jp/sync）を開発した。2017年8月2日に一般公開し、実証実験を開始する。
従来、音楽の再生に合わせた演出として、パソコンの画面の表示内容を変えたり、ロボットを踊らせたりすることは可能だった。しかし、多数の携帯端末・パソコン・IoTデバイスを音楽に合わせて同時に制御することは難しく、しかもそうした大規模な音楽連動制御に基づく演出をプログラマーが容易に開発できるような開発キットも実現されていなかった。
Songle Syncは、産総研独自の音楽理解技術と今回新たに開発した大規模音楽連動制御技術を融合させた、音楽に連動した演出を容易に利用・開発できるプラットフォームである。ユーザーがウェブブラウザーからSongle Syncにアクセスして、ウェブ上の楽曲を選んで再生すると、音楽理解技術で事前に解析されたビートや小節、サビ区間などに応じて変化するCGアニメーション（CG映像）が表示される。それに連動するためのQRコードを他の人が自分のスマートフォンで読み込むと、その同じ楽曲が時刻同期しながら再生されて同じアニメーションが表示される。イベント会場などで数百人がこのようにアクセスすると、同じ楽曲を流すスピーカーや、同じアニメーションを表示する画面が多数存在する状態となり、多人数で一体感のある演出を楽しむことができる。さらにSongle Syncでは、プログラマーが多数かつ複数種類の機器制御を意識せずに演出内容を容易に変更・開発するための開発キットも公開した。今後は実証実験を通じて、さまざまな利用シーンへの応用を予定している。
 |
| 音楽の再生に連動して複数の機器を制御できるプラットフォーム「Songle Sync（ソングルシンク）」 |
音楽は、音だけでも楽しめるが、音楽と映像が連動するミュージックビデオのように、音楽に連動した多様な演出と共に楽しむことも多い。近年では、音楽再生に合わせてパソコンの画面上の表示内容を変えたり、ロボットを踊らせたりすることも可能になっている。ライブコンサートでは、多数のペンライトの光を一斉に変更する専用システムが用いられたり、スマートフォンの画面がペンライトのように単色発光するような専用アプリケーションが用いられたりしたこともあった。
しかし、こうした従来の演出では、専用機器や専用システムが個別に開発され、その演出手段が固定されていたため、拡張性が乏しかった。そのため、人々が所有する多種多様な携帯端末（スマートフォン、タブレット）・パソコン・Internet of Things (IoT)デバイスを、自由自在に組み合わせながら、さまざまな楽曲に合わせて同時に制御して演出を楽しむことはできなかった。なぜなら、専用機器ではないこうしたインターネット接続可能な汎用機器を用いて音楽の再生や演出を同期制御しようとしても、個別に非同期通信が断続的に繰り返される通信環境と多様な実行環境においては、連続的な再生が必要な音楽とそれに合わせた演出が機器ごとにずれやすく、技術的に困難であったからである。ユーザーが、異なる演出を手軽に組み合わせたり、演出を変更したりすることも従来の技術では実現されておらず、大規模な音楽連動制御に基づく新たな演出を、プログラマーが容易に開発できるような開発キットもなかった。
産総研では、音楽理解技術に基づいて人々の音楽体験をより豊かにすることで、学術・産業・社会・文化的に貢献することを目指した研究開発に取り組んできた。これまでに、ウェブ上の楽曲の中身（ビートや小節、サビなど）を音楽理解技術で可視化する能動的音楽鑑賞サービス「Songle（ソングル）」（http://songle.jp）や、膨大な音楽コンテンツを俯瞰的に鑑賞できる音楽視聴支援サービス「Songrium（ソングリウム）」（http://songrium.jp）、楽曲に合わせて歌詞をアニメーション化できる歌詞アニメーション制作支援サービス「TextAlive（テキストアライブ）」（http://textalive.jp）を開発し、一般に公開してきた（2012年8月29日、2013年8月27日、2015年9月8日 産総研・JST共同プレス発表）。
これらの研究開発を通して、音楽に連動した表現や制御が価値を持ち、人々の関心も高いことが分かってきた。そこで、楽曲の中身をSongleで解析した結果を、1台のパソコンのウェブブラウザー上で利用して音楽に連動した演出ができる「Songle Widget（ソングルウィジェット）」（http://widget.songle.jp）の仕組みを開発し、2014年8月に試験公開した。今回、従来の技術では実現できていなかった複数台の多種多様な機器の制御に発展させて、インターネットに接続できる環境であれば、場所や人数を問わず人々が同時刻に同一楽曲の音楽連動制御を楽しめる新たな仕組みに基づくSongle Syncを開発し、実証実験のために一般公開を開始することとした。この実証実験では、新たな音楽体験を多くの方々に気軽に楽しんでいただくとともに、実際の利用シーンでの課題を調べることを目的としている。
Songle Syncの研究開発は、国立研究開発法人 科学技術振興機構（JST） 戦略的創造研究推進事業 ACCELの研究開発課題「次世代メディアコンテンツ生態系技術の基盤構築と応用展開（研究代表者：後藤 真孝（産総研 情報技術研究部門 首席研究員）、プログラムマネージャー：伊藤 博之（JST））」の一環として行われた。
ウェブ上の楽曲の再生に合わせて、100人を超えるような多人数の人々が既に所有する多種多様な携帯端末（スマートフォン、タブレット）・パソコン・IoTデバイスを、インターネットを介して連動させて制御することができる仕組みを、大規模音楽連動制御プラットフォーム「Songle Sync（ソングルシンク）」（http://api.songle.jp/sync）として公開する。これを可能にするために、個別の実行環境を持つ多数の汎用機器がSongle Syncのサーバーと断続的に通信をしながら、音楽に自律的に連動して演出ができる大規模音楽連動制御技術を開発した。ユーザーは異なる演出を手軽に組み合わせたり、演出を変更したりすることができる。
Songle Syncを介して提供する音楽連動制御アプリケーション（アプリ）の一例は、以下の手順で利用できる（図1）。
(1) 楽曲と演出スタイルの選択
ユーザーはスマートフォンやパソコンのウェブブラウザーを使って、ウェブサイト上で公開されている楽曲（MP3形式の音響信号ファイルや楽曲・動画共有サービス上の楽曲・動画）と、楽曲全体にわたる演出の仕方を決める数種類の「演出スタイル」を好みに応じて選択する。すると、音楽再生プレーヤーが表示され、ウェブサイト上にある楽曲がストリーミング再生されるとともに、ディスプレイには選択した演出スタイルに応じて、その楽曲のビートやサビなどに合わせて変化するCGアニメーションが表示され、楽曲を目と耳の両方で楽しむことができる。
(2) アクセスキーの発行
ユーザーが他の人々と一緒に同じ音楽と演出を楽しむために、Songle Syncのサーバーを介して、この音楽再生プレーヤーと連動するためのアクセスキー（文字列、URL、QRコード）を発行できる。
(3) 複数の汎用機器がインターネットを介して音楽に連動
ユーザーからアクセスキーを受け取った他の人々が、それを自分のスマートフォンやパソコンのウェブブラウザーに入力してSongle Syncのサーバーに接続すると、同じ楽曲の音楽再生プレーヤーが表示され、場所を問わず全員が同じ瞬間に同期して楽曲とアニメーションを楽しむことができる。楽曲の途中で接続しても同期でき、ユーザーが楽曲を変更したり再生・停止したりすれば、それに連動して、他の人々の楽曲やアニメーションも変更・再生・停止する。また、他の人々が接続する際には楽曲再生とアニメーション表示のどちらか一方だけを選択することもできるため、例えば後者を選択すれば、スピーカーで鳴らしている音楽を一緒に聞きながら、その場にいる人々のスマートフォンの画面に同じアニメーションを表示するといった使い方ができる。
また、Songle Syncは、プログラマー向けの開発キットも提供している。開発キットを使って演出スタイルのサンプルプログラムを変更するだけで、楽曲を再生して演出を描画する音楽連動制御アプリを容易に開発できる。しかも、プログラマーは複数台の機器制御を意識する必要がなく、1台の機器を制御するつもりでプログラミングをするだけでよい。そうすると、Songle Syncが音楽を再生しながらインターネットを介して他の機器と連動する制御を自動的に行ってくれる。
 |
| 図1 Songle Syncの利用方法 |
Songle Syncは、以下の3つの特長を持つ。
1. ウェブ上の楽曲を再生しながら多種多様な携帯端末・パソコン・IoTデバイスの連動制御を実現
Songle Syncでは、ウェブサイト上で公開されている100万曲以上の楽曲をSongleが自動解析した結果を即座に利用して、楽曲ごとに異なる中身（ビートやサビなど）に連動した演出を楽しむことができる。再生したい楽曲が自動解析されていない場合は、Songleに楽曲のURLを登録して自動解析することでその楽曲もSongle Syncで再生できるようになる。SongleやSongle Syncには音楽配信機能や楽曲アップロード機能はなく、楽曲は元のウェブサイト上から直接ストリーミング再生される仕組みとなっている。
Songle Syncの演出スタイルは、一般的なウェブブラウザーから利用できて汎用性が高いため、異なるOS（Windows、MacOS）を搭載したパソコンや、異なるOS（iOS、Android）を搭載したスマートフォン・タブレットのように多種多様な機器を連動制御することができる。さらに、小型軽量端末Raspberry Piや、IoTデバイス（ロボットや照明機器、衣装のLEDなど）を活用した演出もできる。
今回、楽曲を選んで再生すればその楽曲に応じた音楽連動制御ができる、以下のさまざまなSongle Syncの利用事例を実際に開発した（図2）。これらすべての利用事例に基づいて100台以上の機器を同時に制御した大規模な音楽連動制御が可能なことを確認している。
(a) 画面表示
パソコン、iPhone、iPad、 iPod touch、Androidフォン、Raspberry Piなどの汎用機器を用いて、画面上で音楽に連動したアニメーションを表示できる。
(b) 空間演出制御
IoT化した照明機器や発光ダイオード（LED）を内蔵した光る生活雑貨（花瓶、キャンドル）などを用いて、部屋・環境の照明・光を音楽に連動して変化させられる。
(c) ファッション制御
IoT化したLEDを装着・内蔵した光る衣装や光る腕輪を用いて、音楽に連動した発光制御ができた。
(d) メカ制御
IoT化した小型ロボットや電動カーテンを用いて、音楽に連動させながらロボットを動かしたり、カーテンを開閉したりできる。
 |
| 図2 Songle Syncを利用した各種機器の制御事例（既に開発して動作している機器の様子） |
2.大規模な音楽連動制御に基づく音楽体験が今後さまざまな利用シーンで新たな価値を創出
人々がSongle Syncを利用すると、楽曲の再生と同時に、個人が所有している携帯端末・パソコンなどのスピーカーから同時に同じ楽曲が流れ、しかもそれらの画面に、その音楽に合わせて動く多様で変化に富むアニメーションが表示できる。従来の技術では実現できなかったこのような音楽体験は、今後、例えば以下のような利用シーンで新たな価値を創出できる可能性がある（図3）。
(a) ライブ・イベント会場
会場に設置されたスピーカーから流れる音楽の再生に合わせて、来場者のスマートフォンの画面に変化に富んだアニメーションが表示されるといった新たな演出が可能になる。さらに、会場の複数の大型スクリーンにも同じアニメーションを表示させたり、ステージ登壇者の衣装や腕輪を発光させたりするような演出もできる。ライブ開始前やイベントの入場待機列などの場面で来場者に一体感を持って楽しんでもらう演出として、音楽連動制御を活用しても効果的である。
(b) ショッピングモール・店舗
ショッピング中のBGMに合わせて通路や店舗の壁面や床などのさまざまな箇所に演出ができる。大型ディスプレイや照明機器、プロジェクターの投影映像などを連動させた演出で、モールや店舗全体に一体感を出すことができる。さらに来店者のスマートフォンと連動させても効果的である。
(c) カフェ・飲食店
飲食時のBGMに、間接照明やディスプレイ・照明機器を連動させることで、楽曲に合わせてムードを変えたり、店舗ごとに異なる印象を与えたりするなどの空間演出が可能になる。
(d) 街中・屋外イベント
街中全体を使った屋外イベントのような機会に、既に設置されているさまざまなディスプレイや照明、プロジェクションマッピングなどを組み合わせて、音楽連動制御を実施することも考えられる。主催者側が、特別な演出を体験可能なQRコードを事前に用意して配布すれば、その街を訪れている人々が同時に音楽に連動した演出を楽しむことができる。
 |
| 図3 さまざまな利用シーンで大規模な音楽連動制御が活用される際のイメージ画像 |
3.プログラマーが大規模音楽連動制御の利用事例を容易に開発できるプラットフォームを提供
Songle Syncは、ユーザーにとって自分の機器が容易に他の機器と連動する新たな音楽体験を可能にするだけでなく、以下のように、プログラマーにとっても大規模な音楽連動制御による演出を容易にプログラミングできる新たな体験を可能にする。そのための開発キット（API（Application Programming Interface）、サンプルプログラム、チュートリアル）も提供している（図4）。
(a) プログラマーは音楽に同期させるための時間管理を意識する必要がない。
小節の先頭ではこういう演出、サビに入ったらこういう演出、といったプログラム、すなわちイベント駆動なプログラムを記述するだけで、楽曲中の再生時刻が各イベントの時刻に達すると自動的にそうした演出が実行される。しかも楽曲ごとに手作業でイベントを設定する必要がなく、Songleの解析結果（ビート、小節、サビ区間、繰り返し区間、コードなど）をイベントとして利用できる。
(b) プログラマーは他の機器との連動制御を意識する必要がない。
1台の機器を念頭においてアプリをプログラミングするだけで、他の多数の機器と自動的に連動できる。しかも、スマートフォンやパソコンのウェブブラウザーで動作するアプリ、照明を制御するアプリ、ロボットを制御するアプリのように、個別に開発されたさまざまな種類のアプリを、ある楽曲の再生に一緒に連動させることができる。このようにプログラマーは、通信や他の機器との連動制御を全く意識せずに、大規模な音楽連動制御を実現できる。
Songle Syncは、多様な演出を実現する音楽連動制御アプリをさまざまなプログラマーが開発できる汎用のプラットフォームであり、拡張性が高く演出が固定されていない点が優れている。Songle Syncのサーバーとの通信によって、各機器が楽曲の再生に連動して自律的に動作すれば、機器同士が直接通信をしなくても全体が同期して動作しているように見える。これに着目して、機器が多種多様かつ多数であっても問題ないように、各機器がSongle Syncのサーバーと断続的に通信をして時刻同期をしながら、楽曲の再生時刻に応じて自律的にイベント駆動で演出を呼び出す仕組みを実現した。さらに、各機器上での音楽再生プレーヤーの再生時刻もずれないように自律的に調整をする。以上の仕組みによって、Songle Syncのサーバーへの接続台数が増えても各機器の動作に影響が少なく、各機器が音楽の途中からでも演出に参加可能になっている。また、音楽連動制御の仕組みが機種依存になって相互接続が困難になる問題が起きないように、ウェブ標準技術に基づいてSongle Syncを実装した。これによってプログラマーはJavaScriptで記述したアプリを幅広い実行環境（JavaScriptが実行できる一般的なウェブブラウザー、IoTデバイス上で動作するJavaScript環境Node.jsなど）で動作させることができ、ユーザーはQRコードなどで手軽にアプリを利用できるようになっている。
 |
| 図4 手軽で容易な大規模音楽連動制御を可能にする開発キット |
今後は、ウェブブラウザーから利用できる大規模音楽連動制御プラットフォーム「Songle Sync（ソングルシンク）」の持続的な研究開発・運用を進めていく。この研究では、インターネット経由で音楽に連動制御される端末・デバイス群によって構成されるネットワークを、音楽版のInternet of Things (IoT)の意味を込めて「Internet of Musical Things (IoMT)」と名付け、利用事例を開拓していく。今回開発した、音楽理解技術によって得た楽曲の中身に連動して多数の多種多様な携帯端末・パソコン・IoTデバイスを同時に制御できる技術や、Songle Syncを活用した利用事例などを、産業界と連携しながら、ライブ・イベントや、ショッピングモール・店舗、カフェ・飲食店、ファッション、街中など、さまざまな利用シーンに応用展開していく予定である。