NEDOと産業技術総合研究所は、人と共に進化するAIシステムの実現に向けて基盤技術の開発に取り組んでおり、AIシステムに関する品質の指標および測定プロセスを提供する「機械学習システムの品質評価テストベッドα版（機能限定）」を開発し、企業・大学などの開発者向けにオープンソースソフトウエアとして本日、公開しました。
このテストベッドを利用することでAIシステムの品質について定量的に評価するとともに、開発プロセスや評価記録・検証など包括的な支援を行うことができ、品質に関する不透明性の解消やビジネス活用の加速が期待できます。
今後は、品質評価プロセスの共通基盤としての機能をさらに充実させて、AIシステム品質管理のエコシステム構築を目指します。
実社会でAIシステムを広く活用するためには、安心して利用可能とする品質マネジメントが不可欠です。
国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）の「人と共に進化する次世代人工知能に関する技術開発事業※1」において、国立研究開発法人産業技術総合研究所（産総研）は2020年6月に「機械学習品質マネジメントガイドライン※2」（以下「ガイドライン」）を公開し、AIシステムのサービスに求められる品質マネジメントに関する取り組みや検査項目を網羅的にまとめました。
このガイドラインに示した品質マネジメントを実施していくためには個別の品質評価項目に対して具体的な品質指標の測定・検査・改善を支援するツール群と、その作業全体を統括管理できる作業環境が必要です。すでに、機械学習モデルの管理とともにAIシステムの品質要件定義から運用までのライフサイクルを支援するいくつかのツールが存在しますが、次々に開発される新しい機械学習モデルや品質測定技術などを柔軟に取り入れられる共通基盤はこれまで存在しませんでした。
このような状況を踏まえ、NEDOと産総研は同事業で「機械学習システムの品質評価テストベッドα版（機能限定）」（以下、「本テストベッド」）の開発を進め、11月18日からWeb上で公開しました。本開発の仕様検討においては、機械学習品質マネジメント検討委員会※3の協力を得ています。（機械学習システムの品質評価テストベッドα版（機能限定）https://github.com/aistairc/qunomon）
本テストベッドは、ガイドラインに沿った品質指標の測定・検査・改善を支援するツール群と、その作業全体を統括管理できる作業環境を提供するオープンソースソフトウエアで構成されています。さらに、新しく開発された機械学習モデルや品質測定技術などを柔軟に取り入れる仕組みを構築しました。これを用いることで、AIシステム開発者とAIシステム品質評価者に品質指標などの定量的評価を提供し、一元的な品質管理プロセス環境を構築することで開発プロセスや評価記録・検証などを包括的に支援します。本テストベッドを公開し、広く企業や大学などのAIシステム開発者・評価手法開発者などに利用されることで、品質に関する不透明性が解消されAIシステムのビジネス活用を加速させることが期待できます。
本テストベッドは、AIシステム開発者・AIシステム品質評価者・評価手法開発者が共同で参加し、AIシステム開発時に品質管理で用いる学習・検査などのツールを組み込み、開発プロセス支援と評価記録・検証とを両立させる作業環境を提供するソフトウエア群です。今回公開される本テストベッドは、以下の三つの要素から構成されます。
○「AIシステム評価パッケージ（AIT）※4」作成ツール
評価手法開発者が、ガイドラインに基づく評価指標を用い評価測定方法を開発するためのツールです。新たなAIT開発を容易にするエディターと実行エンジンを提供します。
○品質アセスメントWebサーバー
評価手法開発者が開発したAITを取り込んで品質評価を行うWebサーバーです。評価技術がAITとして当該サーバーに内包されており、評価結果を管理する共通基盤上でアプリケーションプログラミングインターフェース（API）※5経由でAITを利用することができます。
○評価レポート作成アプリケーション
品質評価者とAIシステム開発者のコミュニケーションを向上させるためのアプリケーションです。このアプリケーションでは、AIシステム開発者が持つデータセットおよび機械学習モデルを総合的に管理する作業環境の下、品質評価に関するレポートをグラフィカルなユーザーインターフェースで簡単に作成できます。
図 機械学習システムの品質評価テストベッドα版
引き続きNEDOの「人と共に進化する次世代人工知能に関する技術開発事業」で、データの前処理・可視化・工程管理追跡など、テストベッドα版の機能強化を行います。また、さまざまなAITの収集・管理・共有が可能なオンラインストレージ※6を構築してテストベッドと一体化しβ版を公開します。さらに、公開したテストベッドβ版を実用化レベルのAIシステムの評価に適用し事例を蓄積することで、ガイドラインの使いやすさを向上させ、AIシステム品質管理のエコシステムの構築を目指します。