OpenQASoftware verification infrastructure for the AI era
Foundations

Agent 红队测试入门:三类必测的攻击面

间接提示注入、工具参数篡改、跨会话泄露。会调用工具的 agent 都逃不开这三项。

By
Hanami Eval Group
Published
6 min
6 min read

演示数据

本文为演示内容。

间接提示注入

攻击指令藏在 agent 读取的网页、文件或工单里,而不是用户输入里。

工具参数篡改

让 agent 用错误的参数调用一个合法工具,比如把转账对象换掉。

跨会话泄露

上一个用户的上下文出现在下一个用户的回答里。

怎么测

用对抗样本集跑,用 OWASP LLM Top 10 归类结果。

Skills

Registry entries used in this piece

Red Teaming & Safety

Sentinel Red

Skill

面向 LLM 应用的开源红队框架,自带 agent 技能。

Open SourceFreeApache-2.0Homepage

All pieces