独立行政法人 産業技術総合研究所【理事長 中鉢 良治】（以下「産総研」という）情報技術研究部門【研究部門長 伊藤 智】後藤 真孝 首席研究員、メディアインタラクション研究グループ 濱崎 雅弘 主任研究員、中野 倫靖 主任研究員らは、動画共有サービス上に無数にある音楽コンテンツやコンテンツ相互の関係性を可視化し、ユーザーが関係性を意識した音楽鑑賞ができる多機能な音楽視聴支援サービス「Songrium（ソングリウム）」（http://songrium.jp)を2013年8月27日に一般公開し、実証実験を開始する。
動画共有サービスの普及により、クリエイターが創作した膨大な数の音楽コンテンツが公開されているが、ユーザーがそれらの中から関心のある動画を見つける手がかりとして、音楽コンテンツ同士が持つ関係性、例えばオリジナル楽曲と派生作品との間にある派生関係や、楽曲の類似関係、クリエイターの人間関係など多様な関係性を活用できる音楽視聴支援システムはなかった。
今回産総研が開発したSongriumはウェブマイニング技術および音楽理解技術に基づき、動画共有サービス（ニコニコ動画、YouTube）上の音楽動画60万件の関係性を抽出し可視化するシステムである。これは派生関係を可視化する「惑星ビュー」機能や、楽曲間の関係性をユーザーが自由に追加できる「矢印タグ」機能、曲調や歌声の特徴に基づく楽曲群や派生作品群の可視化機能をもつ音楽視聴支援システムであり、誰でも利用できるウェブ上のサービスとして公開した。ユーザーは一連の可視化機能によって明らかになる多様な関係性を手掛かりに楽曲や派生作品と出会うことができる。さらに試聴を容易にするサビ出し機能や、さまざまな形態でSongriumを利用するためのインタフェース（自動連続再生、スマートフォン対応、ブラウザ拡張）も実現した。
なお、本研究は独立行政法人 科学技術振興機構(JST) 戦略的創造研究推進事業(CREST)の研究課題（研究代表者 後藤 真孝）の一環として行われた。この成果は、2013年10月31日～11月1 日に産総研つくばセンター（茨城県つくば市）で開催する「産総研オープンラボ」にて展示される。
 |
| 関係性を意識した音楽鑑賞ができる多機能な音楽視聴支援サービス「Songrium（ソングリウム）」 |
動画共有サービスの普及により、プロ・アマを問わず多くのクリエイターが音楽コンテンツを創作し、公開するようになった。さらにオリジナル楽曲の創作だけでなく派生作品の創作も広がり、歌う、演奏する、曲に合わせて踊るといった創作活動を録画した動画が、日々、派生作品として数多く公開され、広く鑑賞されている。これらのオリジナル楽曲と派生作品との関係を可視化することができれば、それぞれの音楽コンテンツを単独のものとしてではなく、その関係も含めて楽しむことができる。
音楽には派生以外にもさまざまな関係性があり、たとえば類似関係（歌詞のテーマや社会背景、曲調、雰囲気、演奏楽器などが同じか似ている）やクリエイターの人間関係（楽曲の作者・歌手・演奏者が同じ、あるいは、友人・師弟・同所属）などを人々が意識すれば、より豊かな鑑賞につながる。これらの関係性は従来の音楽鑑賞サービスや動画共有サービスでは明示的に扱われることが少なく、検索要求に合致する音楽を見つける音楽情報検索や、次に聴きたいと思う音楽を見つける音楽推薦でも、多様な関係性への理解を深める研究はなかった。このように音楽コンテンツの関係性は、膨大な数の音楽コンテンツの中から興味のある音楽を見つける手がかりとして十分には活用されていなかった。
産総研では、動画共有サービスにおいてオリジナル作品に触発されたクリエイターがさまざまな派生作品を創作する協調的創造活動を対象にし、作品間のつながりの大きさやどのような関係性を持つかを分析するウェブマイニング技術を研究開発してきた。また、ウェブ上の楽曲の中身を音楽理解技術で可視化する能動的音楽鑑賞サービス「Songle（ソングル）」（http://songle.jp）を開発し、公開して実証実験を進めてきた（2012年8月29日 産総研・JSTプレス発表）。
こうした研究成果の蓄積から、ウェブ上の音楽コンテンツの関係性を可視化することで、より豊かな鑑賞を可能にする音楽視聴支援システムというアイデアが生まれた。このアイデアに基づくシステムを、動画共有サービス（ニコニコ動画）上に公開された歌声合成関連動画を対象コンテンツとして限定し、ベータ版として2012年8月より研究者向けに試験公開してきた。今回、可視化機能、楽曲の中身の解析の高度化、自動連続再生、複数の動画共有サービス上の音楽コンテンツ（ニコニコ動画上の歌声合成関連動画、YouTube上の音楽関連動画）への対応などの諸機能を完成させ、実証実験のために一般向けに公開を開始することとした。
この研究は独立行政法人 科学技術振興機構（JST）戦略的創造研究推進事業（CREST）「共生社会に向けた人間調和型情報技術の構築」研究領域における研究課題「コンテンツ共生社会のための類似度を可知化する情報環境の実現（研究代表者 後藤 真孝）」の一環として行われた。
ウェブ上の動画共有サービスで公開されている音楽コンテンツ（オリジナル楽曲を収録した動画や、その派生作品となる動画）間の関係性を可視化し、さまざまな「つながり」を意識しながら鑑賞できるシステムを開発し、音楽視聴支援サービス「Songrium（ソングリウム）」（http://songrium.jp）として公開する。Songirumは、以下の3つの特長を持つ。
1. 音楽コンテンツのつながりを意識した鑑賞を実現する「関係性ブラウジング」
ウェブマイニング技術により、動画共有サービス上のオリジナル楽曲を発見して登録するとともに、それと派生関係にある作品群を自動的に抽出して登録する。そして、自動抽出された楽曲と派生作品との関係を「惑星ビュー」によって可視化する。さらにそうした派生関係に加え、オリジナル楽曲間の任意の関係性を「矢印タグ」として可視化することができる（図1）。矢印タグはユーザーが誰でも付与して共有することができる。ユーザーがSongriumに登録された楽曲を選ぶと、関係性が可視化された画面を見ながら、元の動画共有サービス上にある楽曲やその派生作品の動画をストリーミング再生して楽しむことができる。
「惑星ビュー」では、派生作品の種類や視聴回数が色やサイズなどで直感的に表されており、楽曲によって見た目が大きく変わる（図2）。このような派生作品群の可視化により、オリジナル楽曲を視聴しているだけでは気付きにくい派生作品を発見できる。さらにオリジナル楽曲がどのような種類の派生作品を生み出してきたかも知ることができる。
「矢印タグ」は、ある楽曲が別の楽曲に対してどのような関係にあるのかをテキストで自由に記述して共有する仕組みである。一般的なソーシャルタギングではコンテンツ単体に対してタグ付けするのに対し、矢印タグは二つのコンテンツ間の関係に対してタグ付けできる特長を持つ。同一作者の次回作やデビュー作のようなウェブマイニング技術で発見できる関係については、矢印タグとして自動生成される。それに加えて、ユーザーが自由に矢印タグを追加できるインタフェースによって、自動処理では発見が難しい楽曲間の多様な関係も共有することができる。
 |
| 図1 オリジナル楽曲の「惑星ビュー」と「矢印タグ」の表示例 |
| 中心の丸いサムネイル画像がオリジナル楽曲を、その周りを回転するカラフルな複数の円形図形が派生作品群を示している。楽曲を中心とした同心円はそれぞれが派生作品の回転軌道を表している。回転半径は派生作品の投稿時期を示しており、新しい派生作品ほど外側にある。円形図形の大きさは派生作品の再生回数、色は派生作品の種類（例えば青色は楽曲を歌唱した派生作品、赤色は楽曲に合わせて踊った派生作品）を意味する。中央の楽曲に向けて伸びているオレンジ色の直線は矢印タグを示しており、矢印タグ上にある丸いサムネイル画像はつながったもう一方の楽曲を示している。この矢印タグをたどることで次々に楽曲を視聴できる。例えば同一作者の今作・次回作関係を示す「Pの次回作」という矢印タグをたどれば作品を発表順に聴くことができ、ユーザーが付与した「こちらも好きかも」という矢印タグは、いわば人力の音楽推薦として機能する。 |
 |
| 図2 オリジナル楽曲によって異なる惑星ビューの例 |
| 「惑星ビュー」によって示される派生作品群は、それらの色や回転半径、回転速度によって、派生作品の量や種類が異なることが一目でわかる。派生作品群全体の色は、オリジナル楽曲に対する派生関係の傾向を表している。例えば歌唱の派生作品を示す青色の回転軌道が目立つ楽曲であれば、歌いたくなる楽曲だとわかり、踊りを付けた派生作品を示す赤色の回転軌道が目立つ楽曲であれば、踊りたくなる楽曲だとわかる。 |
2. 楽曲の中身を自動解析した結果を利用した音楽星図、サビ出し機能などによる鑑賞支援
音楽理解技術によって楽曲の中身を自動的に解析した結果を利用した以下の鑑賞支援機能により、より豊かな鑑賞を可能にする。
（a）音楽星図：楽曲の曲調を分析し、2次元平面上で曲調の似た曲を近くに配置することで、Songriumにすでに登録された音楽動画60万件のうちオリジナル楽曲にあたる10万曲を俯瞰できる「音楽星図」を実現した（図3）。曲調が似た曲を発見したいときには、音楽星図上で近くに存在する楽曲をクリックすると、それが中央に移動してきて視聴できる。
（b）歌声の男女度：同一楽曲をさまざまな歌手が歌唱した派生作品群（以下、歌唱動画）に対して、歌声の音響的特徴から男女度（男声らしいか女声らしいかを示す指標）を自動推定し、その結果を可視化する機能を実現した（図4）。この機能によって、男女度の違いを俯瞰しながら歌唱動画の派生作品群を聴き比べることができる。ただし、ニコニコ動画上の音楽コンテンツのみに対応している。
（c）サビ出し機能：楽曲中で一番代表的な盛り上がる主題の部分である「サビ」を容易に見つけて試聴できる「サビ出し機能」を実現した（図5）。これはSongleの「サビ出し機能」と連携している。自動解析したサビの位置の誤りにユーザーが気付いた場合は、それをSongle上のインタフェースで訂正することで、Songrium上の表示も正しくなる。
 |
| 図3 楽曲の曲調を自動解析して「音楽星図」として可視化した例 |
| 約10万曲のオリジナル楽曲が、曲調の近さに基づいて2次元平面上に配置されている。地図サービスのように、マウス操作でスクロールやズーミングをして楽曲を探索できる。再生回数の多い楽曲は丸いサムネイル画像で表示されている。画面左下のフィルター機能により、今月のランキング入り楽曲、任意のタグを持つ楽曲などをハイライトさせることもでき、この例では最近追加された楽曲が緑色でハイライトされている。 |
 |
| 図4 楽曲を歌唱した派生作品における歌声の男女度分布の表示例 |
| 歌唱動画の派生作品は、動画共有サービス上で作品数も視聴回数も多く、人気が高い。一つのオリジナル楽曲に対して数百や数千の歌唱動画があることも珍しくない。歌唱動画同士では曲自体には違いがないので、声質や歌い方の違いが重要となる。画面中央の赤や青の円形図形は歌唱動画を表しており、上にあるほど歌声の女声らしさが高く、下にあるほど男声らしさが高い、と自動推定されている。このように歌声の声質を可視化することで、ユーザーは歌声の違いを意識しながらさまざまな歌唱動画を聴き比べやすくなる。 |
 |
| 図5 サビ出し機能の使用例 |
| 楽曲構造を可視化することで、任意のサビ区間や繰り返し区間を押してジャンプしながら効率的に試聴できる。左下の「サビJUMP」ボタンを押して「次のサビ区間の頭出し再生」もできる。 |
3. 音楽視聴支援サービスを多様なインタフェースで利活用
ウェブマイニング技術、音楽理解技術、さらにユーザー入力によって得られた関係性をより多くのユーザーに利用してもらうために、多様なインタフェースを用意した。
（a）自動連続再生インタフェース「バブルプレーヤー」：ユーザーが指定した期間に投稿された楽曲群を自動連続再生できる。投稿日時順に楽曲が次々と出現して増えていく様子をアニメーション表示しつつ、再生回数などユーザーが指定した条件を満たした楽曲群の一部分を順次再生して紹介することで、一つのムービーのように視聴することができる（図6）。これにより動画共有サービス上のトレンドの変遷を容易に俯瞰できる。ただし、ニコニコ動画上の音楽コンテンツのみに対応している。
（b）スマートフォン対応インタフェース：スマートフォンからでも快適にSongriumを閲覧できるように、可視化機能を簡素化した専用モードを用意した。
（c）ブラウザ拡張「Songrium Extension」：「ブラウザ拡張」機能に対応したウェブブラウザを使用しているユーザーに対して、Songrium専用のブラウザ拡張を提供する。これによりSongriumにアクセスしなくても、動画共有サービス上でオリジナル楽曲や派生作品を閲覧するだけで、直接、Songriumの機能の一部を使用できる（図7）。
 |
| 図6 指定期間のオリジナル楽曲群をムービーのように鑑賞する「バブルプレーヤー」の画面例 |
| ユーザーが期間を指定すると、動画共有サービスにその間に投稿された楽曲群が投稿日時順に現れ、投稿された楽曲群の変遷を俯瞰できる。楽曲はそれぞれ一つのバブル（着色された円形図形）で表されており、楽曲の投稿に合わせて次々とバブルが増えて集まっていくアニメーションが表示される。バブルの色は使用されている歌声合成ソフトウェアの歌声ライブラリの種類を、大きさは再生回数を表している。さらに、ユーザーが別途指定した条件を満たす楽曲はサビ区間が短時間再生されるため、バブルが増える過程でどのような楽曲が投稿されていたかを視聴して確認できる。バブルの表示の背景には、当時の関連イベントがテキスト表示される。 |
 |
| 図7 動画共有サービス上で直接主要な機能を使用できる「Songrium Extension」の画面例 |
| 動画共有サービスの動画プレーヤーの下にサビ出し機能が挿入して表示される（左図）。その右隣の操作パネルから、惑星ビューや矢印タグを見ることができる。さらに派生作品群に関して、タグの要約表示（タグクラウド）や投稿日時順のグラフ表示（派生ヒストリー）を見ることもできる（右図）。 |
誰でもウェブブラウザから利用できる音楽視聴支援サービス「Songrium（ソングリウム）」の持続的な研究開発・運用を進めていく。今回開発した、楽曲の関係性を発見するウェブマイニング技術や楽曲の中身を自動解析できる音楽理解技術を、産業界と連携して、音楽情報検索や音楽推薦、音楽配信サービスなど、さまざまな応用に展開していく予定である。