英伟达推出 NIM AI 护栏服务，防止模型遭用户“越狱”

IT之家 1 月 18 日消息，英伟达发布了一项名为“NIM”的 AI 护栏服务，该服务以英伟达 NeMo 护栏（NeMo Guardrails）套件的形式提供。此服务允许开发人员为大语言模型（LLM）添加一系列护栏规则，旨在防止用户通过提示词“越狱”大模型，从而避免 AI 生成不符合预期的内容。

英伟达表示，相应 AI 护栏服务套件是基于英伟达的 Aegis 内容安全数据集进行训练而成的。该数据集包含了 3.5 万个标注的数据样本，并已在 Hugging Face 上公开。你可以在这里找到 IT之家 回答详细地址（点击此处查看）。

英伟达指出，相应 AI 护栏套件具有体积小且高效的特点，可以在大多数情况下顺利运行。企业在开发 AI 模型时可以直接嵌入相应的安全套件，从而提高医疗、汽车、制造业等领域的 AI 安全性。

此外，英伟达还提供了名为 Garak 的漏洞扫描工具，用于检测模型的安全性，以防止模型可能输出幻觉内容或泄露企业内部机密信息。

广告声明：文中包含的对外跳转链接（包括但不限于超链接、二维码、口令等形式）仅用于传递更多信息，节省筛选时间，结果仅供参考。