国立研究開発法人産業技術総合研究所【理事長 石村 和彦】(以下、産総研という)産総研・東工大 実社会ビッグデータ活用オープンイノベーションラボラトリ 小川 宏高 ラボ長、滝澤 真一朗 主任研究員は、株式会社日立製作所(以下、日立という)と共同で、オンプレミスとクラウドに構築された異なる情報システムを安全に連携させたハイブリッドクラウドのAI開発環境を構築し、12月より試験運用を開始した。この環境には、新たに開発した、高度な認証機能とセキュリティー機能を持つクラウドオブジェクトストレージを用いたジョブデータ管理技術を搭載しており、安全性を維持しながらクラウドとのデータ共有を可能とする。
なお、今回の成果の一部は、2020年12月21日から開催される情報処理学会 第177回ハイパフォーマンスコンピューティング(HPC)研究会にて発表される。
ハイブリッドクラウドのAI開発環境
近年、製造機器や自動車、人の動きなどのフィジカルな世界にある多様なデータを、サイバー空間で解析・予測して、生産計画などを最適化するサイバーフィジカルシステムの活用が加速している。この予測と最適化にはAIが用いられており、そのAI開発には計算機技術の進化に伴う投資や、一時的な計算機需要急増などへの柔軟な対応が必要であるなどの理由から、オンプレミスとクラウドをつないだハイブリッドクラウドが多く用いられるようになった。しかし、ハイブリッドクラウドにAI環境を構築するには、機密情報に関するデータセキュリティーの確保、ハードウエアやソフトウエアの仕様が違う異種システムの使い分け、管理者権限が必要な専用ソフトウエアの利用が必須、などの課題があった。
産総研では、高性能計算研究の一環として、クラウド上でのジョブ実行を実現する機構の研究を行ってきた。しかし、そこで提案した新たな機構は、専用プロトコルを用いるため一般的なクラウド環境へ容易に導入できるものではなく、専門的で煩雑な作業が必要であったことが普及の妨げとなっていた。日立も同様な問題意識を持っていたことから日立のオンプレミスな計算環境と産総研のABCIのシームレス連携に関する共同研究に至った。
産総研は日立とともに、オンプレミスとクラウドに構築された異なる情報システムを安全に連携させ、オンプレミスの使いやすさとクラウドの大規模な計算資源の活用を両立するハイブリッドクラウドのAI開発環境を構築した。今回、オンプレミスとクラウドのシステム連携におけるデータセキュリティー確保の課題に対して、システム間のユーザー認証とデータ共有に専用のプロトコルを用いないで、高度な認証機能とセキュリティー機能を持つ汎用のクラウドオブジェクトストレージプロトコルだけを用い、ジョブデータ管理を容易に実現する技術を開発した。さらに、開発したジョブデータ管理技術はユーザー権限で実行できるので、システム管理者の許可を得る必要がないことから、その導入を容易にし、ハイブリッドクラウドの構築を容易にした。また、プログラムの実行に必要なライブラリーをパッキングして持ち運びできるコンテナ技術を活用することで、異なる情報システムでも、同じプログラムを実行可能にした。さらに、開発中のメタジョブスクリプト技術により、異なる情報システムでも、同じジョブスクリプトでジョブ実行できるようにして、オンプレミスと同じ使い勝手を維持できるようにした。
今回構築した環境の実用性を検証するために、日立中央研究所内のAI開発環境（オンプレミス）を国立情報学研究所のSINET5経由で産総研のABCI（クラウド） に接続したAI開発環境を構築し、AI開発ジョブ投入の応答速度を測定した。クラウド環境のABCI上にログインして、直接ジョブを投入した場合の応答性能0.3秒に対し、日立中央研究所のオンプレミス環境からリモートでジョブを投入した場合の応答性能は0.59秒となり、ユーザーの使い勝手に影響を与えない遅延時間で連携できることを確認した。
今後は、今回開発した技術によって、パブリッククラウドに構築したAI開発環境との連携にも幅広く適用できるよう開発を進め、社会イノベーションの加速に貢献する予定である。
国立研究開発法人 産業技術総合研究所
情報・人間工学領域研究戦略部 E-mail：ith-liaison-ml*aist.go.jp（*を@に変更して送信下さい。）