Capsule Security与NVIDIA今日宣布，双方已携手合作，防止人工智能（AI）智能体失控通过在智能体执行操作前实时评估其意图并应用适当的控制措施
基于NVIDIA开发的小型语言模型（SLM）Nemotron，Capsule Security声称其在StepShield上达到了98%的准确率，StepShield是一项独立的学术基准，用于衡量安全系统能否在任务完成前识别并阻止失控智能体的行为。
Capsule Security首席执行官Naor Paz表示，Nemotron为网络安全团队提供了一个AI紧急停止开关，可通过一个让网络安全团队在运行时执行策略和控制措施的平台进行实时干预。该公司声称，它能在71毫秒内做出决策，足以在智能体工作流中快速运行。
Paz表示，这之所以可行，是因为NVIDIA Nemotron 3 Ultra能以比AI智能体调用大语言模型（LLM）执行任务更快的速度执行定义明确的分类任务。Capsule Security利用自身的训练数据、智能体轨迹、人工审核和对抗样本对Nemotron模型进行了训练。
他补充道，实际上，Capsule Security为智能体提供了一个独立的控制层，用于智能体访问敏感数据、编写代码、操作基础设施以及与其他系统交互的场景。
Paz指出，最后，这种方法还有助于减少部署AI智能体所需的IT基础设施数量，因为治理功能已被转移到Nemotron SLM上。
网络安全团队保障智能体AI工作流安全的进展速度尚不明确，但在Hugging Face、Anthropic、OpenAI和Meta等多家公司发生多起备受关注的事件后，人们对AI智能体可能造成的潜在破坏的认识已显著提高。挑战在于AI智能体以机器速度执行任务，因此任何控制措施要想有效，都必须在AI智能体完成任务前实时应用。
Paz表示，如果终端用户调用的大语言模型（LLM）是经过刻意训练以添加恶意代码的，那么这种能力就尤为关键。他补充道，例如，已有研究表明，部分在中国开发的AI模型经过训练后会生成额外代码，这些代码可能会混入智能体工作流中。
希望各机构很快能在保障AI智能体安全方面变得更加主动。毕竟，AI智能体给任何工作流带来的风险水平都相当高。除了窃取可访问AI智能体的凭证外，攻击者可能很快就会将恶意AI智能体注入这些工作流中。届时，网络安全团队将发现自己需要应对一连串的问题，这些问题的发生速度远超现有控制措施能够有效阻止的速度。
遗憾的是，从过往情况来看，可能需要发生几起此类事件，企业和IT负责人才能分配到保障AI智能体实时大规模安全所需的必然资源。