智测·OpenQAAI 时代的软件验证基础设施
基础知识

Agent 红队测试入门:三类必测的攻击面

间接提示注入、工具参数篡改、跨会话泄露。会调用工具的 agent 都逃不开这三项。

作者
Hanami Eval Group
发布于
6 分钟
阅读约 6 分钟

演示数据

本文为演示内容。

间接提示注入

攻击指令藏在 agent 读取的网页、文件或工单里,而不是用户输入里。

工具参数篡改

让 agent 用错误的参数调用一个合法工具,比如把转账对象换掉。

跨会话泄露

上一个用户的上下文出现在下一个用户的回答里。

怎么测

用对抗样本集跑,用 OWASP LLM Top 10 归类结果。

技能

本文用到的条目

红队与安全

Sentinel Red

技能

面向 LLM 应用的开源红队框架,自带 agent 技能。

开源免费Apache-2.0官网

全部文章