AIのセキュリティリスクとは？

2024/06/05

AIのセキュリティリスク

とは？

―安全にAIを設計・開発・運用するためのガイドライン―

科学の目でみる、
社会が注目する本当の理由

AIのセキュリティリスクとは？

AIのセキュリティリスクは、AIシステムが攻撃を受けることによって生じるリスクと、AIシステムが悪用・誤用されることによって生じるリスクの大きく2つに分けられます。特に近年の生成AIは、自然言語を入力して使うことができ、分野に限定されない汎用性があるため、誤動作や偏りの原因を突き止めたり、修復したりすることがますます難しくなっています。画像や音声を合成する性能も高く、悪意を持った人に利用されると、詐欺やなりすまし、捏造などもしやすくなっています。こうしたことからAIに関連するセキュリティリスクは従来よりもはるかに大きくなっており、これに対して人や社会を守るセキュリティの重要性も高まっています。

飛躍的に性能が向上した生成AIの課題

　AIのセキュリティは今、極めて重要なテーマとなっています。特に、近年では生成AIの性能が急速に向上したことで、世界的にもセキュリティ面が注目され、国際的なルールづくりが進行しています。

　AIは60年以上前から研究されてきましたが、特に2010年代頃から、ビッグデータの収集や処理が容易になり、ディープラーニング（深層学習）の技術が広がり、大規模言語モデルを使った自然言語処理技術により、ChatGPTなどの各種生成AIも広まっています。多くの技術革新によってその性能は飛躍的に発展しました。（産総研マガジン「自然言語処理とは？」、「ジェネレーティブAIとは？」）

　その結果、今日の生成AIでは、人々が日常的に使用する言語をそのまま入力して利用できますし、画像や音声、動画なども扱えます。また、特定分野に限定されず、あらゆる知見を取り込んだ基盤モデルが作れるようになり、広範な用途に対応できるようになりました。本物と区別がつかない高精度の画像や音声を合成できるようになり、AIが豊かな表現力を持つようになったことも大きな特徴です。

　このように、自然言語で利用可能なインターフェース、ユーザーや分野に左右されない汎用性、豊かな表現力といった生成AIの長所は、セキュリティの面から見れば、リスクの増大と対策の複雑化につながっています。

攻撃されるリスク、悪用・誤用されるリスクの2つがある

　AIのセキュリティリスクについては、大きく次の2種類に分類できます。

　1つは、AIシステム自体が攻撃されることによって人や社会が被るリスク。これはAIシステムの内部の弱点（脆弱性）が突かれることで生じます。

　もう1つは、AIシステムを手段に用いた攻撃によって人や社会が被るリスクで、こちらはAIが悪用・誤用されることで生じます。AIの性能が上がるほどリスクが増すことになるため、今後、AIの発展とともにさらに深刻化すると考えられます。

　いくつか具体的なリスクの例として、前者では、物体検知AIへの攻撃によって自動運転車が事故を起こす、マルウェア検知AIが検出できないウイルスへの感染によってパソコンが使えなくなるなどが挙げられます。後者では、AIを使ってシステムの脆弱性を見つけ出して悪用する攻撃や、AIを使って偽造した生体情報による生体認証のすり抜けなどがありうるでしょう。

　特に、生成AIを使ったものとして、ディープフェイク技術により生成した音声などによるなりすましや詐欺、フェイクポルノの合成、政治家の演説の捏造など、多種多様なリスクが知られています。

　セキュリティの面から生成AIの特徴を見たときに大きな問題なのが、AIがブラックボックス化し、開発者ですらAIの動作を予測・説明できないことです。このため、AIの誤動作の存在や原因が突き止められない、といった問題があります。

　また、AIはデータから学習するため、その元となるデータセットに不備や偏りがあると誤動作につながります。特に、学習データセットに悪意ある細工を施し、AIを誤動作させる攻撃（データポイズニング攻撃）が知られています。そのため、データなどの収集・流通プロセス（サプライチェーン）の信頼性が非常に重要になってきます。

　今後、複数のAIシステム同士が情報をやりとりし組み合わされるようになると、複雑さが増し、それに伴ってリスクも拡大することが予想されます。

　こうしたリスクへの対策にAI技術を利用する、といったことも行われていますが、技術だけではリスクには対応できません。そこで、産総研や世界各国の研究機関や政府機関が取り組んでいるのが、AIのセキュリティを担保するルールづくりです。

ガイドラインを策定し、AIの品質管理、セキュリティに役立てる

　産総研では、まだAIの実用化が進んでいなかった2018年に「AI の品質をどのようにマネジメントするか」という点に注目して研究プロジェクトを開始しました。そこから今日に至るまでの間に技術も社会も大きく変わり、当初はあまり理解されなかったAIの品質マネジメントへの意識が定着してきました。

　産総研は技術開発に携わる立場から、AIを設計・開発・運用するためのガイドラインを策定・公開し、毎年改訂してきました。（「機械学習品質マネジメントガイドライン^*1」 、産総研マガジン「ＡＩの設計・開発・運用をガイドラインでサポート」 ）AIセキュリティについては、脅威・脆弱性・対策を体系的に整理し、セキュリティリスクの評価や対応の枠組みや基準をまとめています。これまでに、このガイドラインはさまざまな企業で活用され、AIシステムの安全性に関する国際規格（ISO/IEC TR 5469）の土台にもなっています（2024/04/10プレスリリース）。

　ガイドラインにとって大切なのは、社会全体の納得を得られる指針であることです。セキュリティ対策にはコストがかかるので、企業などがガイドラインに沿って動きやすく、社会的評価も得られるようにすることも意識しなければなりません。また、ガイドラインの利用方法についての講座^*2を開催するなど、ガイドラインへの理解を深めていく活動も重要です。

　次の段階は社会実装だと考えます。国際的なルールや法規が決まり、技術面でどう応えるかを判断するには技術標準を設ける必要があるので、ここを担っていきたいと考えています。

　また、政策面を見ると、国際協調によって生成AIのルールづくりを進める動きが顕著です。先進国は生成AIのリスクへの危機感が強く、2023年のG7広島サミットでは、「広島AIプロセス」において生成AIの安全性確保、社会実装やルールのありかたが議論されました。また、日本や米国、英国では、AIセーフティ・インスティテュート（AISI）と呼ばれる機関が設立され、AIの安全性確保のための基準の検討が始まっています。こうした政策は、ここ数年で大きく動くと予測され、私たちもこれを注視しながら、プロジェクトを進めています。

　生成AIに限らず、新しい技術が登場すれば、必ずリスクが生じるもの。ですから、新技術の開発はセキュリティ確保と合わせて進める必要があります。産総研では、多くの専門家が連携しながら、人々が安心してAIと共存できる社会を目指し、これからも新たな技術を生み出す研究開発に取り組み、安全性やセキュリティを担保するためのガイドライン整備や基準づくりを続けていきます。

*1: 機械学習品質マネジメントガイドライン
https://www.digiarc.aist.go.jp/publication/aiqm/ [参照元へ戻る]
*2: NEDO講座の受講者募集ページ（すでに募集は終了しています）
https://www.nedo.go.jp/events/CD_100198.html [参照元へ戻る]

インタビュー対応者：[参照元へ戻る]