给AI agent添砖加瓦、让大模子聊天管住嘴，英伟达造了个安全利器

作家 | ZeR0裁剪 | 漠影

智东西1月17日报说念，继在外洋销耗电子展CES 2025上发布一大波AI新品后，NVIDIA（英伟达）最新推出了一款拓荒安全、真确的AI agent利器——NVIDIA NIM Al Guardrail微处事。

AI agent（常被译作“智能体”、“代理”）是生成式AI接下来一大发展趋势，有望成为简略完成多样任务的“常识机器东说念主”，进步环球数十亿常识责任者的坐褥力。

要拓荒AI智能体，企业需要措置信任、物理安全、集会安全以及合规性等要道问题。而使用NIM微处事拓荒出的AI agent，会参考特定语境准则作念出安全、稳妥的复兴，何况加强了对逃狱企图的抵抗力度。

这些agent可被部署在汽车、金融、医疗、制造、零卖等行业的客户处事中，提高客户的惬意度和信任度。

Amdocs、Cerence AI、劳氏公司（Lowe’’s）等行业引导企业齐在使用NeMo Guardrails保护AI应用的安全。

一、给AI agent装备“安全护甲”：实质安全、话题限度、逃狱检测

AI正在赶快提高多样业务经过的坐褥力。为了扩展用于客户处事的AI和其他AI agent，需要有安全的模子宝贵无益或失当的输出收尾，并确保AI应用在端正的参数范围内驱动。

NIM Al Guardrail微处事是NVIDIA NeMo Guardrails软件器具系列的一部分，旨在匡助企业提高生成式AI应用的安全性、精确性和可扩展性。这些推理微处事经过优化，并不错移植。

NVIDIA为NeMo Guardrails引入了3项全新NIM微处事，可匡助AI智能体在大边界驱动的同期保合手受控行为：

实质安全NIM微处事：宝贵 AI生成有偏见或无益的输出收尾，确保复兴符合说念德圭臬。话题限度NIM微处事：将对话聚焦在经过审核的话题上，幸免离题或失当实质。逃狱检测NIM微处事：加多对逃狱企图的着重，匡助在对抗性场景中保合手AI的圆善性。

这些微处事是高度优化的轻量级小谈话模子，不错养息较大模子的反应以提高应用法子性能。

由于“一刀切”的方式无法有用保护和限度复杂的代理式AI责任流，通过应用多个轻量级专科模子当作护栏，拓荒者不错弥补在只取舍较为通用的全局计谋和保护治安时可能出现的漏洞。

小谈话模子的蔓延较低，即使在资源有限或散布式环境中也能高效驱动，因此是扩展AI应用的理思取舍，用于医疗、汽车、制造等行业，以及病院或仓库等步地。

二、发布高质地实质安全数据集，提供AI安全测试开源器具

NeMo Guardrails可匡助拓荒者通过编排多项AI软件计谋（称为rail）提宏大谈话模子应用的安全性和可控性。它与NVIDIA NIM微处事一同构成了一个刚硬的AI系统构建框架，可在不影响安全和性能的情况下进行大边界部署。

NVIDIA打造的微处事围绕NeMo Guardrails为中枢编排。NeMo Guardrails是NVIDIA NeMo平台用于AI的不断、定制和着重，可匡助拓荒者在大谈话模子应用中集成和不断AI护栏。

在这些全新微处事中，有一项专为审核实质安全而构建，并使用Aegis实质安全数据集（AegisContent Safety Dataset） 进行检修，后者是同类中质地较高的东说念主工凝视数据源之一。

该数据集由NVIDIA整理并领有，包含跳跃35000个经过东说念主工标注、针对AI安全和绕过系统甘休的逃狱企图的数据样本，已在Hugging Face网站上公拓荒布。

NeMo Guardrails还提供用于AI安全测试的开源器具。

NVIDIA Garak是一款由NVIDIA Research团队拓荒的用于大谈话模子和应用漏洞扫描的开源套件。拓荒者不错使用它测试安全保险模子和其他rail的使用恶果。

借助Garak，拓荒者通过评估数据涌现、提醒注入、代码幻觉、逃狱场景等问题，发现使用大谈话模子的系统中所存在的漏洞。

通过生成包含失当或不正确输出收尾的测试用例，Garak可匡助拓荒者发现并措置AI模子中的潜在流弊，提高模子的谨慎性与安全性。

NeMo Guardrails微处事以及用于编排rail的Nemo Guardrails和NVIDIA套件已向拓荒者和企业通达。

三、传媒、汽车、家居、连络行业齐在用

传媒企业软件与处事提供商Amdocs正在使用NeMo Guardrails完了愈加安全、准确、符合语境的复兴，增强AI驱动的客户交互。该公司正在通过将NVIDIA NeMo Guardrails集成到amAIz平台，增强该平台的真确AI功能，保险代理式体验的安全性、可靠性、可扩展性。

Cerence Al是一家专为汽车行业提供AI措置有诡计的公司，正在使用NeMo Guardrails来匡助其车载助手在其CaLLM系列大谈话和小谈话模子的相沿下提供符合语境的安全交互。

据Cerence AI居品和时代引申副总裁Nils Schanz共享，使用NeMo Guardrails不仅能匡助为汽车制造商客户提供真确的情境感知措置有诡计，作出贤惠、严谨且无幻觉的复兴，还不错针对汽车制造商客户的需求定制，匡助过滤无益或不友善的恳求，宝贵提供未必或失当的实质。

家居守秘零卖商劳氏公司（Lowe’s）正在诓骗生成式AI来平稳其伙计的专科常识。通过提供更全面的居品常识，这些器具使伙计简略复兴客户的问题，匡助他们找到合适的居品来完成技俩，并为零卖翻新和客户惬意度诞生新的圭臬，同期保险AI生成复兴的安全性与可靠性。

面向零卖业AI应用，NVIDIA近期在NRF（National Retail Federation） 展会上秘书，适用于零卖购物助手的NVIDIA AI Blueprint整合了NeMo Guardrails微处事，为数字购物创造愈加可靠、可控的客户交互。

连络行业领头企业Taskus、Tech Mahindra、Wipro也正在将NeMo Guardrails集成到其措置有诡计中，以便为企业客户提供愈加安全、可靠、可控的生成式AI应用。

NeMo Guardrails可集成由当先的AI安全模子和着重提供商构成的刚硬生态系统，以及AI可不雅察性和拓荒器具。它相沿与ActiveFence的ActiveScore集成，以宝贵对话式AI应用中出现存害或失当的实质，并提供可视化、分析和监控功能。

Hive以NIM微处事的体式提供适用于图像、视频和音频实质的AI生成实质检测模子，通过使用NeMo Guardrails，可松懈地将其模子集成到AI应用中并进行编排。

AI可不雅测性平台Fiddler可松懈与NeMo Guardrails集成，增强 Al Guardrails的监控功能。端到端AI拓荒者平台Weights & Biases正在现存NIM集成组合的基础上，通过加多与NeMoGuardrails微处事的集成来扩展W&B Weave的功能，以此进步坐褥中的AI推理智商。

结语：企业AI Agent波浪将至

当作环球AI计较巨头，NVIDIA判断AI Agent波浪将至。与其他快速推广的生成式AI应用雷同，若是弗成确立安全、真确、合规等护栏，AI Agent将存在脱轨的风险。NVIDIA正费力于于通过引入NIM微处事和NeMo Guardrails平台，鼓吹AI Agent在保合手正轨的前提下走向更多部署和坐褥。

针对构建护栏，NVIDIA探索了不同类模子的大小与有用性，确保AI应用法子在不同业业中安全、稳妥说念德且有用地驱动。NIM微处事相沿拓荒东说念主员堆叠多个护栏，既能宝贵AI agent偏离原始任务或输出负面实质，又能减少稀疏蔓延、优化反应速率。这将为企业提供加多对AI agent限度力度和信任度的有用器具。