クリプトン・フューチャー・メディア株式会社【代表取締役 伊藤 博之】（以下「クリプトン」という）音声チーム 佐々木 渉 マネージャー、佐藤 浩輔 テクニカルスタッフらと、国立研究開発法人 産業技術総合研究所【理事長 中鉢 良治】（以下「産総研」という）情報技術研究部門【研究部門長 田中 良夫】後藤 真孝 首席研究員、メディアインタラクション研究グループ 濱崎 雅弘 研究グループ長、佃 洸摂 研究員、石田 啓介 テクニカルスタッフらは共同で、音楽印象分析技術や音楽推薦技術を用いることで膨大な楽曲の中から視聴者が興味のある楽曲を見つけることができる音楽発掘サービス「Kiite（キイテ）」（https://kiite.jp）を開発した。無料で利用できるサービスとしてクリプトンが運営し、2019年8月30日に一般に公開する。
Kiiteは、歌声合成技術による歌唱を含む膨大な楽曲（動画共有サービスによってインターネット上で公開されている約30万曲の音楽動画）を、「軽快」「激しい」などの自動分析された音楽の印象で視聴者が絞り込み、自動検出されたサビ区間を効率よく試聴することで、次々と新たな楽曲に出会うことができるサービスである。そうして発掘した好みの楽曲をプレイリストにボタン一押しで手軽に登録すると、お気に入りの楽曲が繰り返し鑑賞しやすくなるとともに、他の視聴者とも共有できる。また、音楽推薦エンジンが各視聴者の再生履歴やプレイリスト、楽曲の音響信号の自動解析結果などに基づいて日々自動生成する「お勧め楽曲のプレイリスト」を聴けば、幅広い音楽を楽しめる。さらに、視聴者自身が音楽推薦エンジンをカスタマイズして複数保存でき、気分に応じて使い分けられる高度な機能も備えている。
歌声合成ソフトウェア「初音ミク」が発売された2007年8月以降、アマチュアやプロを問わずさまざまなアーティストの貢献によって、合成された歌声がメインボーカルの楽曲（音楽動画）が動画共有サービスなどを中心に30万曲以上公開され、日々増え続けている。視聴者も、好きな楽曲を見つけて聴いたり、それを他の人達に紹介して広めたりすることによって、この音楽文化の発展に貢献してきた。しかし、膨大な楽曲の中から視聴者が好みの楽曲を見つけ出すことは容易でなく、その結果、新たな楽曲が公開されても、それが潜在的に好きなはずの視聴者に気づいてもらえずに埋もれてしまうことが多い。これは、アーティストにとっても視聴者にとっても損失であり、歌声合成を使用しているかどうかに関わらずメディアコンテンツ全般に共通の問題である。
こうした問題を解決するには、膨大な楽曲の中から好みの楽曲を探して出会う「音楽発掘」に焦点を当てて、従来の受動的・個人的な音楽鑑賞だけでなく、より能動的・社会的な音楽発掘を可能にするサービスが必要となる。従来の多くの音楽視聴サービスでは、視聴者が再生する楽曲を指定するために、タイトルやアーティスト名、ジャンルなどのテキスト情報に基づく楽曲検索や、人気ランキング、プレイリスト、音楽推薦に基づく楽曲一覧表示などの手段が提供されてきた。しかし、視聴者が楽曲を鑑賞する機能が中心で、音楽発掘のための機能が不十分だった。
クリプトンと産総研は、好みの楽曲を見つけて紹介する視聴者の音楽への関心や音楽発掘活動と、産総研の音楽印象分析・音楽推薦などの音楽情報処理技術の力を結びつけた新たな音楽発掘サービスを開発し、パソコンのウェブブラウザー上で無料で利用できるサービス「Kiite（キイテ）」（https://kiite.jp）として公開する。Kiiteでは、「楽曲を探す楽しさ」「楽曲に出会う喜び」を体験しやすくすることで、視聴者の音楽体験をより豊かにするとともに、アーティストにとっても楽曲を潜在的な視聴者に届けやすくなることを目指している。Kiiteは、以下の3つの特長を持つ。
１．音楽発掘用プレーヤー機能：多数の楽曲を次々と試聴しながらプレイリストを作成・共有可能
音楽発掘では、通常の音楽鑑賞のようにすべての楽曲を先頭から最後まで聴くと視聴者が費やせる時間内に試聴できる曲数が少なくなってしまうため、数秒～数十秒程度を聴いて判断して好みだったらプレイリストに追加する操作を、いかに効率よく繰り返せるかが重要となる。そこで、効率的な試聴を可能にする「音楽発掘用プレーヤー機能」を実現した（図1(a)）。すべての楽曲のサビ区間を事前に自動検出しておくことで、音楽動画の再生を開始するとサビから聴くことができ、再生中にキーボードのボタンを一押し（あるいはマウスをクリック）するだけで手軽にプレイリストへ追加できる。追加後は、ボタン一押しで次の楽曲に変更でき、次々とこうした試聴を繰り返せる。5秒早送り、5秒巻き戻し、一時停止・再開などの試聴に便利な操作もボタン一押しで可能なため効率がよい。
名前を付けて複数のプレイリストを別々に管理することができ、追加先のプレイリストは毎回選択操作をしなくてよいように、事前に選択して固定しておく。それとは別に、「お気に入り」という常に追加可能なリストが用意されており、一旦「お気に入り」リストに追加して、あとから再検討することもできる。プレイリストや「お気に入り」リストは、自らが繰り返し鑑賞しやすいだけでなく、他の視聴者にも共有されて全員の音楽発掘結果を楽しむことができる（図1(b)）。
以上の「音楽発掘用プレーヤー機能」により、従来は困難だった多数の楽曲のサビを次々と試聴してプレイリストを作成・共有することが可能となった。
(a) 効率的に試聴できる音楽動画再生プレーヤー画面
|
(b) プレイリスト表示・再生画面
|
|
図1 音楽発掘用プレーヤー機能 |
２．音楽レーダー機能：音楽印象分析に基づく探索・絞り込みが可能
効率的に試聴ができても、膨大な楽曲のすべてを聴くことは不可能なので、試聴候補を柔軟に絞り込む操作が不可欠となる。そこで、歌声合成の歌手名、投稿日、ジャンル、ソーシャルタグ、再生数などの属性をフィルター条件として組み合わせて絞り込めるだけでなく、さらに、音楽印象分析技術によって楽曲の音響信号からその印象を自動分析し、その結果も組み合わせながら絞り込める「音楽レーダー機能」を実現した（図2(a)）。すべての楽曲は分析した印象に基づいて2次元平面（以下「印象マップ」という）上に配置されている（図2(b)）。この平面は、楽曲を探すためのレーダーとして機能し、「軽快」「激しい」「のんびり」のようなエリア毎の印象語を参考に視聴者がその1点をクリックすると、その周囲の楽曲群が試聴候補として選択される。これにより、聴きたい印象を絞り込んで試聴できる。
さらに、類似楽曲検索の機能も備えており、楽曲間の類似度をそれらの音響信号の曲調に基づいて事前に自動推定しておくことで、任意の楽曲からそれに似た楽曲一覧を表示して試聴することもできる。
以上の「音楽レーダー機能」により、従来は困難だった楽曲の音響信号の中身に基づいて探索的に音楽に出会うことが可能となった。
(a) レーダーとなる印象マップと試聴候補の画面
|
(b) 印象マップを拡大表示した画面
|
|
図2 音楽レーダー機能 |
３．音楽推薦エンジン選択機能：複数の音楽推薦エンジンを使い分けて新たな楽曲に出会うことが可能
試聴候補を柔軟に絞り込んで探索できるのは有用だが、視聴者が日々利用する上では、好みにあった試聴候補が自動的に提示されると、さらに効果的に幅広い楽曲と出会えるようになる。そこで、日々蓄積される視聴履歴や「お気に入り」リストと、それらの楽曲の音響信号を自動解析して得られる曲調などに基づいて、音楽推薦エンジンが視聴者毎に異なる「お勧め楽曲のプレイリスト」を自動生成する「音楽推薦エンジン選択機能」を実現した（図3(a)）。一般的な音楽推薦技術では、各視聴者に個人適応した一つの推薦エンジンしか提供されないことが多い。Kiiteでも、そうした推薦エンジンが各視聴者に「デフォルト推薦エンジン」として用意されているが、それに加えて、視聴者が自分でカスタマイズ（改造）した「カスタム推薦エンジン」をいろいろと追加していくことができる（図3(b)）。
カスタム推薦エンジンは、専門知識がなくても推薦の元になる楽曲を選択して追加するだけで手軽に作成でき、「明るい気分になりたいとき用」、「ゆったりしたいとき用」のように名前を付けて、気分に応じて選択して使い分けられる（図3(c)）。推薦結果をより一層自分の意図通りにするために、自動生成されたプレイリストの各楽曲に善し悪しのフィードバックを与えるか、あるいは、推薦の元になる楽曲を追加することで推薦エンジンを「育てる」こともできる。しかも、すべての推薦エンジンはプレイリストと同様に他の視聴者にも共有されており、誰でも他の視聴者が作成した推薦エンジンを使うことができる。検索用のタグを付与しておくと、他の視聴者から自分の推薦エンジンを見つけてもらいやすくなる。このようにさまざまなカスタム推薦エンジンを視聴者自らが育て、他の視聴者が育てた推薦エンジンも利用できるサービスはこれまでになく、より能動的・社会的な音楽発掘を可能にしている。
以上の「音楽推薦エンジン選択機能」により、従来は困難だった複数の音楽推薦エンジンの振る舞いを視聴者が意図的にカスタマイズすることが可能となった。
(a) 推薦エンジンによるお勧め楽曲のプレイリスト画面
|
(b) カスタム推薦エンジンの作成画面
|
(c) カスタム推薦エンジンの選択画面
|
|
図3 音楽推薦エンジン選択機能 |
Kiiteの研究開発は、国立研究開発法人 科学技術振興機構（JST） 戦略的創造研究推進事業 ACCELの研究開発課題「次世代メディアコンテンツ生態系技術の基盤構築と応用展開（JPMJAC1602）」（研究代表者：後藤 真孝（産総研 情報技術研究部門 首席研究員）、プログラムマネージャー：伊藤 博之（JST））の一環として行われた。クリプトンが基本機能と音楽発掘用プレーヤー機能などを、産総研が音楽発掘用プレーヤー機能、音楽レーダー機能、音楽推薦エンジン選択機能などを技術開発した。
クリプトンと産総研は、今後も引き続き両者で共同開発を進め、Kiiteの機能を向上させて利便性を高めていく。また、Kiiteの開発で培った技術を、他のメディアコンテンツを対象としたサービスなど、さまざまな応用に展開していく予定である。