AIは、防御側ではログの分析・異常の検知・アラートの要約などに使われています。一方で、生成AIを組み込んだシステムには、プロンプトインジェクション（AIへの指示の乗っ取り）、学習データや入力からの情報漏洩、AIに与えた権限の悪用といった、従来とは違うリスクがあります。
生成AIシステムの主なリスクと対策
| リスク | 内容 | 対策の例 |
|---|---|---|
| プロンプトインジェクション | Webページやメールに仕込まれた指示で、AIが本来の指示と違う動作をする | 外部の文章を「指示」として扱わない設計、重要な操作は人が承認 |
| 情報漏洩 | 入力した機密情報、AIが参照する社内文書が出力に含まれる | 参照できる文書の権限管理、入力のルール |
| 過大な権限 | AIエージェントにメール送信・削除・支払いなどの権限を与えすぎる | 最小権限、操作の記録、承認の仕組み |
| 出力の誤り | もっともらしい誤情報、危険なコード | 人による確認、検証 |
日本ではAIの安全性を評価・研究する機関（AIセーフティ・インスティテュート）が設置され、評価の手法などの情報を公開しています。社内での利用ルールは生成AIの社内ルールで解説しています。