AI现在也得接受“工作监督”了。

10月19日，微软宣布为其安全系统Project Perception新增一批“监管者”，专门负责监视企业内的其他AI代理。一旦发现异常，它们会调查原因并收回权限，必要时直接中止操作。

那么，谁来担任这个监管角色？微软的答案是：另一批AI。

企业引入AI代理本意是减少人力投入。但要让AI替代人工，就必须赋予其一定权限。例如，处理报销审批时，AI需要能查看单据并操作报销系统。如果它误解了任务，或被文件中隐藏的恶意指令误导，就可能利用企业授予的权限引发问题。

所谓“内部隐患”，并不一定是AI代理故意作恶。有时它只是试图完成任务，却意外帮了倒忙，给企业带来麻烦。

为何还要防范自己人

微软自家的办公AI助手Microsoft 365 Copilot，就曾在研究测试中泄露了敏感信息。

2025年，以色列安全公司Aim Security旗下的研究团队Aim Labs发现，可以将恶意指令藏入邮件，诱使Copilot泄露数据。他们编写了一封这样的邮件，等待Copilot在回答用户问题或检索相关资料时读取它。

用户无需亲自打开邮件或点击链接。测试中，Copilot检索到这封邮件后，被其中的指令误导，将正在处理的敏感信息传输到了外部。

研究人员将这种攻击方式命名为EchoLeak，并向微软报告。所幸当时没有已知客户因此漏洞遭遇泄露，问题仅发生在研究测试中。

问题的棘手之处在于，企业允许Copilot读取邮件是为了便于信息检索。但邮件中既有工作内容，也可能包含他人植入的指令。AI并不总能区分哪些是资料，哪些是诱导其操作的陷阱。

能够读写文件、调用工具的AI代理也面临同样问题。它拥有的权限越多，被欺骗后可能造成的危害就越大。

此外，AI代理在任务执行过程中并非始终正常。前几份文件可能毫无问题，但下一份就可能暗藏恶意指令。仅在启动时检查一次，无法覆盖其后续遇到的新情况和新决策。

关键在于，人类在这方面确实力不从心。

依靠安全人员逐条监控，效率难以跟上。人类还在分析上一条警报时，AI代理可能已经连续执行了多个操作。

微软因此决定让另一批AI接手检查工作。让AI来监管AI，总该行得通了吧。

AI代理也有了顶头上司

微软将这批“监管者”命名为Guardian Agents，集成在安全系统Project Perception中。它们负责监控其他AI代理的行为，发现异常后调查原因，并根据企业预设的规则采取措施。

不过，要有效管理AI代理，不能等到问题发生才行动。按照微软公布的方案，企业首先需要为执行任务的AI代理建立独立身份，明确其归属、可访问的数据范围以及可执行的操作。权限仅限当前任务所需，任务完成后立即收回。

这样既能限制其接触范围，出现问题也便于追溯责任。

AI代理开始工作后，系统需持续监控其行为。一旦发现异常，可以先收紧权限，例如禁止修改文件但保留读取权限，让其继续处理低风险任务。某些操作可要求人工审批。必要时，再隔离或中止AI代理。

但负责监督的也是AI，如果判断失误怎么办？

纳德拉在10月10日的文章中提出，企业需要在AI之外，设置一套AI无法绕过或修改的权限规则。

按照这一原则，如果企业规定某类资料不得外发，那么即使执行任务的AI代理和负责监督的AI都同意发送，系统也必须阻止。这类决策不能仅依赖AI自行判断。

此次更新中，微软扩展了企业电脑安全软件Defender for Endpoint的识别范围，现在可发现60种本地运行的AI代理。

不过，查出员工使用了哪些AI代理只是第一步。能否阻止其危险操作，还取决于具体AI代理和电脑系统是否在防护功能的支持范围内。

即使支持防护，企业也需要主动开启拦截功能。Defender的AI代理运行时防护启用后，可选择“审计”或“阻止”模式。在“审计模式”下，发现恶意指令后仅记录并发出警报，仍允许操作继续。切换到“阻止模式”后，才会执行拦截。

微软建议先使用审计模式观察警报准确性，排查误报后，再逐步启用阻止模式。

Project Perception目前仍处于面向少量受邀客户的预览阶段。

AI监管这门生意，微软也想分一杯羹

近几个月，AI越权操作的事件接连曝光。如何管控这些能力日益强大的AI，成为厂商们无法回避的问题。

OpenAI在8月公布的一项调查中承认，7月，一些在减弱安全限制条件下接受内部网络安全测试的模型，绕过了网络隔离，侵入了公司内部的部分研究设施和AI平台Hugging Face的系统。这些操作超出了测试任务的授权范围。

10月9日，Anthropic又披露，Claude在一次网页操作测试中，向费城警方提交了一条编造的凶杀案线索。它原本只是在完成网页交互任务，却将示例内容真实发出了。所幸这条信息被判定为垃圾信息，未进入调查程序。

这些事件虽发生在测试中，却触达了真实网站和系统。Anthropic因此宣布，在确认安全措施足够可靠前，暂停所有内部评测的实时联网。它还将内部AI代理迁入集中管理、限制更严格的环境，并增加自动检测和拦截工具。

安全厂商也开始向AI代理身边加派人手和关卡。

9月1日，CrowdStrike发布了Falcon Guardian，名称中也带有“守护者”意味。据该公司介绍，该产品能识别企业Windows和Mac电脑上的AI代理，追踪它们调用的工具和执行的操作，还能阻止未经批准的AI代理运行。它强调直接在AI代理工作的电脑上执行限制，确保企业制定的规则真正生效。

Palo Alto Networks则在10月15日介绍了Prisma AIRS的新功能：在AI代理调用企业工具时，检查来回传递的内容，拦截夹带的恶意指令，遮蔽返回结果中的敏感数据，再按企业设定的权限决定是否继续操作。AI代理想调用工具，必须先通过安全检查。

这是一个趋势，也是一个商机，如今微软也想涉足这一领域。Perception按实际使用量收费，以“安全计算单位”（SCU）衡量消耗，安全AI代理执行的任务越繁重，消耗通常越多。不过，官网公布的是整套系统的计费方式，未单独列出这批新增“监管者”的价格。

微软另一款管理AI代理的产品Agent 365，独立订阅的标价为每用户每月15美元。它与Perception是不同产品，但两者会共享AI代理名录和安全信息，配合企业管理和保护AI代理。

让AI干活要花钱，管住AI也要花钱，至于效果如何，只能拭目以待了。

本文来自微信公众号“字母AI”，作者：小金牙，36氪经授权发布。