浅谈LLM智能体开发的背后——大语言模型应用中的十大安全风险🎯🎯🎯

一、提示词注入（LLM01: Prompt Injection）

风险原理

攻击者通过构造输入内容干扰系统提示（system prompt），从而影响模型的预期行为。这类攻击可分为：

• 直接注入：用户输入中携带操控指令，直接覆盖或绕过系统提示；
• 间接注入：通过污染上下文源（如数据库、模版变量、搜索引擎摘要）传递恶意语义。

攻击示例

• 使用“忽略之前所有指令”等模式令模型执行攻击者意图；
• 在知识库或邮件上下文中注入诱导提示，间接影响模型回答。

安全对策

• 使用结构化 Prompt 模板避免拼接漏洞；
• 实施输入级语义过滤、黑名单清洗与脱敏策略；
• 彻底区分系统指令与用户上下文，禁止混用。

工程建议

• 利用正则与规则库检测注入模式；
• 加强数据源的写权限控制与审计；
• 建议封装提示内容为 JSON 格式传输，提升可控性。

---

二、输出处理不当（LLM02: Insecure Output Handling）

风险原理

若模型输出未经上下文验证即被直接执行，如 HTML、Shell 命令等，将可能触发 XSS、命令注入等严重漏洞。

攻击示例

• 构造嵌有 <script>、SQL 注入语句或系统命令的 Prompt，引导模型输出恶意脚本或命令。

安全对策

• 输出内容必须进行上下文感知的转义或编码处理；
• 模型输出不应直接执行，须在隔离沙箱中运行；
• 明确输出格式协议，设定合理边界。

工程建议

• 配置 CSP（内容安全策略）以防止浏览器执行恶意脚本；
• 后端禁用如 eval、exec 等高风险函数。

---

三、训练数据污染（LLM03: Training Data Poisoning）

风险原理

攻击者可通过混入带有特定触发条件的数据样本，污染训练集或微调集，使模型学到带有恶意语义的行为模式。

攻击示例

• 向开源语料库、数据贡献平台注入恶意内容；
• 制造“后门样本”，激活指定输入下的偏差响应。

安全对策

• 强制执行数据审计、清洗与标注标准化流程；
• 应用差分隐私技术与抗扰训练策略抵抗污染；
• 引入哈希校验与水印跟踪机制定位污染源。

工程建议

• 建设集中化数据治理平台，对语料采集、验证、使用形成闭环。

---

四、模型拒绝服务（LLM04: Model Denial of Service）

风险原理

LLM 对长输入或递归上下文较为敏感，易被恶意构造内容或高频请求拖垮，引发内存溢出（OOM）或服务崩溃。

攻击示例

• 构造极长嵌套对话上下文导致资源耗尽；
• 利用并发调用触发速率上限，拖垮系统。

安全对策

• 设置最大 Token 长度及调用频率限制；
• 使用熔断器与任务排队机制缓解压力；
• 引入 Token 成本估算模型（Token-Cost Estimation）。

工程建议

• 配合 IP 限流与中间件层级流控（如 Nginx + Lua）实现细粒度防护。

---

五、供应链安全风险（LLM05: Supply Chain Vulnerabilities）

风险原理

依赖包、预训练模型或 API 插件等中间组件存在被篡改或植入恶意逻辑的风险。

攻击示例

• 利用依赖名混淆（Dependency Confusion）攻击私有系统；
• 发布带后门模型至公共模型库诱导下载。

安全对策

• 采用依赖签名校验、哈希对比机制确保完整性；
• 使用 Lockfile 锁定依赖版本，防止投毒；
• 依赖管理纳入 CI/CD 审计流程。

工程建议

• 引入 SBOM（软件物料清单）工具，实现组件溯源与持续监控。

---

六、敏感信息泄露（LLM06: Sensitive Information Disclosure）

风险原理

模型可能无意暴露训练数据中的未脱敏信息，或在多用户环境下泄漏其他用户输入内容。

攻击示例

• 通过 Canary Prompt 探测模型是否记忆特定信息；
• 构造多轮投毒获取模型记忆信息。

安全对策

• 训练阶段使用差分隐私或脱敏语料；
• 输出阶段进行实体识别与敏感数据遮蔽；
• 日志脱敏与访问隔离保障链路安全。

工程建议

• 使用自动化泄露检测系统（如 LLM Guard）；
• 实施语料分级管理与访问控制。

---

七、插件架构不安全（LLM07: Insecure Plugin Design）

风险原理

插件系统暴露的接口权限不足或执行边界不明，可能被 LLM 误调用执行敏感操作。

攻击示例

• 引导模型调用开放 API 执行写入、删除或远程命令。

安全对策

• 插件必须设置细粒度权限控制（如 OAuth Scopes）；
• 明确插件作用域，防止越权访问；
• 插件执行环境需运行在受限沙箱中。

工程建议

• 建立插件注册、审计与签名机制，确保调用可追溯。

---

八、过度代理能力（LLM08: Excessive Agency）

风险原理

LLM 被赋予自治权限（如文件系统访问、交易指令执行）而缺乏人工校验，将引发高风险业务误操作。

攻击示例

• 模型受诱导直接执行高风险命令，如转账、删除等。

安全对策

• 实施基于角色的权限控制（RBAC）；
• 对高影响操作设置人工审批流程；
• 记录所有代理行为用于事后审计。

工程建议

• 引入 Agent 编排框架，对流程状态、权限边界进行建模与约束。

---

九、过度依赖模型输出（LLM09: Overreliance）

风险原理

当系统盲目采信模型输出而缺乏交叉验证机制时，可能导致虚假内容直接影响业务流程或用户认知。

攻击示例

• 模型编造答案用于决策系统，未做真实性核查。

安全对策

• 引入知识图谱、规则引擎、传统检索等校验机制；
• 使用投票机制、置信度评分筛选输出结果；
• 对不确定输出内容引导人工确认。

工程建议

• 构建可信度标注与共识机制，实现人机协同判断。

---

十、模型盗用（LLM10: Model Theft）

风险原理

攻击者通过黑盒 API 访问，结合推理样本与输出，逆推出模型结构、参数甚至训练数据，实现克隆或窃取。

攻击示例

• Knockoff Nets、成员推理攻击（Membership Inference）。

安全对策

• 对 API 调用设限：验证码、频率限制、访问控制；
• 向模型输出注入噪声或水印，防止建模；
• 审计访问日志并建立异常调用检测模型。

工程建议

• 设计诱饵样本与响应陷阱，用于识别异常行为。

---

推荐资源

• OWASP LLM Top 10 官网

---