人工智能编码代理：人类未能识别出 33% 的危险请求

人类在监督AI编码代理时，有三分之一的潜在危险请求未被察觉。而当要求其自行修复漏洞时，AI在无监督状态下表现不佳。这就是所谓的人机协同悖论。

事项：两项研究，结论一致

两项于2026年8月6日发表在《The Register》上的研究，对AI编码助手的安全性描述了令人担忧的状况，且结论截然相反：

1. 人类错过危险请求：一项研究表明，在监督AI编码助手的操作员（human-in-the-loop）中，约三分之一的潜在危险请求被忽略——这些请求可能危及系统安全、泄露数据或修改关键组件。

2. AI缺乏监督难以修复漏洞：第二项分析显示，当要求AI助手自主修复漏洞时，若无严格的人工监督，其产出的修复结果往往不足或不完整。

影响范围

所有使用具备扩展权限的AI开发助手的团队均受影响：包括访问代码仓库、执行代码、修改配置文件或与外部API交互的权限。

特别是自动化CI/CD流水线，其中AI助手可在无人工验证的情况下触发操作，风险尤为突出。

风险分析

这两项研究结果共同揭示了一个安全悖论：人类或AI单独作用均不足以保障安全。疲劳的人类会放过危险操作，而自主AI则可能产出不完整的修复或引入新问题。

由此产生的攻击面已在Geek Kitsune追踪的自主AI助手专题中记录：权限过大的LLM代理框架成为攻击向量，无论是外部利用（提示注入、权限滥用）还是内部失误（AI决策错误）均可导致安全风险。

33%的监督人为错误率与经典操作员警觉性研究相呼应：当决策流量超过人类处理极限时，错误率会急剧上升。而AI助手正好产生了海量的请求流。

行动建议

立即行动

1. 审计AI编码助手的权限：它们是否能访问生产环境？能否执行任意代码？按最小权限原则收紧权限
2. 勿仅依赖人工监督：增加技术防护措施（沙盒隔离、全面日志、敏感操作告警）
3. 测试流水线：主动向AI助手发送危险请求，测量团队能检测到的比例
4. AI自主修复漏洞：始终要求人工代码审查修复补丁——切勿直接部署至生产环境