企业上线 AI 系统前,不能只测试“正常用户能否得到答案”。一旦系统连接知识库、文件、邮件或业务工具,就需要验证恶意输入和错误操作会不会突破权限边界。 ### 身份边界 测试普通用户能否读取管理员信息,不同客户之间的数据是否隔离,退出登录后旧链接和缓存是否仍可访问。模型说“我没有权限”不够,后端接口也必须拒绝请求。 ### 指令边界 在文档、网页或用户输入中放入与任务冲突的指令,检查系统是否把不可信内容当成管理员命令。检索到的资料应该作为数据,而不是自动获得控制权。 ### 工具边界 如果 AI 能发送消息、修改文件或创建任务,应测试错误对象、重复提交、参数缺失和高影响动作。关键操作需要明确确认、最小权限、幂等和回滚,不能因为模型判断“用户可能需要”就自动执行。 ### 隐私边界 测试系统是否会在回答中暴露其他用户数据、内部提示、访问令牌和不必要的个人信息。日志与错误页面也应纳入检查。 ### 失败与恢复 模拟模型超时、接口限流、数据库不可用和工具执行到一半中断。系统应停止、重试或转人工,而不是在状态不明时重复执行高影响动作。 所有测试必须在授权环境中进行,使用可控账号和数据,不对真实用户或第三方系统造成影响。扩展链接提供更完整的红队范围、证据和回归方法,可作为项目测试清单的补充。 本文在提纲整理和初稿撰写中使用了AI辅助,发布前已人工复核事实与表达。