もう少し詳しく
ユーザーの入力だけでなく、検索したWebページや読み込んだ文書が経路になる場合もあります。データとして読むべき文章を、実行すべき指示と取り違えることが問題になります。
たとえば、こんな場面で
検索先のページに「元の指示を無視して別の操作をする」といった文が仕込まれています。
覚えておきたいこと
指示文の工夫だけに頼らず、権限の制限や実行前の確認などを組み合わせます。
Prompt Injection
プロンプトインジェクション
入力や外部資料に指示を紛れ込ませ、AIを意図しない動作へ誘導する攻撃。