智构学堂人工智能应用工程
返回路线

人工智能(AI)智能体(Agent)工程化与安全执行

工具权限、沙箱执行与副作用控制

40 分钟 · 挑战 · 会员章节

公开章节可直接阅读。登录后可同步阅读进度、保存笔记与高亮、完成章节测验。

学习目标

  • 能给智能体工具建立权限分级。
  • 理解读工具、写工具和高风险工具的不同控制方式。
  • 能设计沙箱、参数校验和执行前确认机制。

核心概念

智能体的风险主要来自工具。模型生成一段错误文本通常只是质量问题;模型调用错误工具可能会删除数据、发送通知、泄露资料或产生费用。因此工具必须被当作权限边界,而不是普通函数列表。

工具可以按副作用分为 read、write 和 external_effect。Read 工具读取资料;write 工具修改系统内部状态;external_effect 工具会触达外部世界,例如发邮件、付款、创建工单或调用第三方 API。级别越高,越需要审批、幂等、防重放和审计。

沙箱的作用是让智能体在受限环境里执行。文件读写目录、网络域名、命令白名单、单次超时、输出大小和敏感字段都应有限制。权限不应该只写在提示词里,而应该由执行器和工具层强制执行。

示例与拆解

一个工具注册表可以包含权限和风险级别:

1{ 2 "lookup_course_policy": { 3 "permission": "read", 4 "risk": "low", 5 "requires_confirmation": false, 6 "allowed_scopes": ["course_policy"] 7 }, 8 "create_refund_ticket": { 9 "permission": "write", 10 "risk": "medium", 11 "requires_confirmation": true, 12 "allowed_scopes": ["support_ticket"] 13 }, 14 "send_bulk_email": {

执行器在调用前检查工具名、参数 schema、用户权限、运行预算和确认状态。模型只能请求调用,不能绕过这些检查。

常见误区

  • 误区一:把工具列表全部暴露给模型。模型只应看到当前任务允许的工具子集。
  • 误区二:认为“只要提示词说不要删除”就安全。真正的权限要在工具层拦截。
  • 误区三:所有失败都自动重试。写操作和外部副作用必须考虑幂等和重复执行风险。

小练习

列出你的智能体项目中 5 个候选工具。为每个工具标记 permission、risk、是否需要人工确认、是否允许重试,以及失败时是否可以继续流程。

实操检查点

完成一个工具权限矩阵,并把高风险工具默认关闭。

1tool_name permission risk confirm retry 2search_docs read low no yes 3update_ticket_status write medium yes no 4send_customer_email external_effect high yes no

检查标准:任何工具调用在执行前都能回答“谁允许、能访问什么、会产生什么副作用、失败后怎么处理”。

随堂测验

完成本章测验时,重点区分模型请求调用和系统授权执行。智能体安全靠执行器约束,而不是靠模型承诺。

本章总结

工具权限是智能体工程化的核心边界。读写分级、参数校验、沙箱限制、人工确认和审计日志共同决定智能体是否能安全接入真实业务。

下一步学习指引

下一章学习预算、停止条件和人工接管。即使工具权限清楚,智能体仍然需要成本、时间和失败边界。