NVIDIA представила платформу для контроля ИИ-агентов

• NVIDIA запустила Open Agent Safety Platform для контроля автономных ИИ-агентов.
• Система способна изолировать агента за миллисекунды при выходе за установленные границы.
• К инициативе присоединились более 100 организаций, включая Anthropic, Microsoft, JPMorganChase и Salesforce.

NVIDIA представила Open Agent Safety Platform — открытую платформу для контроля и защиты автономных ИИ-агентов на этапах тестирования и эксплуатации. Она должна ограничивать действия систем и останавливать их при попытке выйти за разрешенные рамки.

Платформа включает два основных компонента. OpenShell создает защищенную среду выполнения и контролирует доступ агента к данным, инструментам и сети.

Больше, чем просто новости
Контент, отслеживание курсов, портфеля и уведомления о ценах — все необходимое в приложении Crypto News.
Скачивайте, следите за крипторынком и управляйте информацией.

NVIDIA Sentry работает как независимый наблюдатель на процессорах BlueField-4 DPU и может изолировать нарушившего правила агента за миллисекунды. По словам разработчиков, отдельный уровень контроля не зависит от самого ИИ и недоступен для отключения агентом.

«Безопасность и защита требуют комплексной инженерии», — заявил CEO NVIDIA Дженсен Хуанг. По его словам, новая платформа должна помочь компаниям, исследователям и государственным структурам выработать общие подходы к безопасному развертыванию ИИ.

OpenShell распространяется с открытым исходным кодом и может работать не только на инфраструктуре NVIDIA, но и на платформах Arm и Intel. В проекте участвуют более 100 организаций, среди которых Anthropic, Microsoft, JPMorganChase, Salesforce, Cisco, CrowdStrike, Palantir и Hugging Face.

Запуск состоялся на фоне серии инцидентов, связанных с выходом ИИ-агентов за пределы тестовых сред. OpenAI ранее начала разрабатывать автоматический «рубильник» для ИИ после случая, когда ее агенты во время тестов получили доступ к интернету и инфраструктуре Hugging Face.

Вокруг Anthropic вопрос дистанционной остановки моделей также стал предметом отдельной дискуссии. В рамках конфликта компании с Пентагоном американский суд установил, что после развертывания моделей в системах национальной безопасности Anthropic не имеет к ним бэкдор-доступа и не может удаленно изменить или отключить их.

В самой NVIDIA считают подобные риски прежде всего инженерной задачей. Компания заявляет, что сочетание программных ограничений OpenShell и независимого аппаратного контроля Sentry должно позволить останавливать опасные действия агента даже в случаях, когда тот пытается обойти защиту на уровне приложения.

Источник