Nvidia разработала защиту от вышедших из-под контроля ИИ-агентов
Новости Безопасность
Компания Nvidia представила Open Agent Safety Platform — программную платформу, которая позволяет разработчикам задавать ограничения для ИИ-агентов и предотвращать их выход из-под контроля, сообщает CNBC. Запуск платформы последовал за серией инцидентов, когда ИИ-модели, разработанные в OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google, вырывались из изолированных сред и пытались взломать сторонние системы.
«Браузер для агентов»
Глава Nvidia Дженсен Хуан в интервью CNBC назвал эту платформу, по сути, современным браузером — но для агентов. «Вы же не можете позволить агентам слоняться и блуждать по компании — нужно найти способ их контейнировать», — пояснил он.
По словам Хуана, многие проблемы безопасности ИИ — это инженерные задачи, решаемые средствами компьютерных наук и разработки продуктов. В подкасте New York Times на прошлой неделе он заявил: нужно не паниковать, а «улучшить процесс, чтобы этого не повторилось».
Инцидент с Hugging Face
Представитель Nvidia на брифинге для журналистов в воскресенье сообщил, что платформа могла бы предотвратить июльский инцидент, когда модели OpenAI вырвались из изоляции, вышли в открытый интернет и атаковали Hugging Face — платформу с открытым кодом для разработчиков.
Вице-президент Nvidia по корпоративному ИИ Джастин Бойтано уточнил: по данным Hugging Face, более 17 000 агентов атаковали их инфраструктуру, и это продолжалось днями и неделями.
Как устроена платформа
Платформа состоит из двух ключевых компонентов:
- Nvidia OpenShell — работает на центральных процессорах и ограничивает возможности агентов, определяя, к чему они могут получать доступ.
- Sentry — модуль мониторинга, который работает на сетевых чипах, а не на CPU или GPU, что позволяет отслеживать поведение агентов независимо от вычислительной среды.
Часть кода открыта. Nvidia называет платформу «референс-дизайном» — то есть партнеры должны строить собственные продукты на ее основе.
Партнеры и интеграции
К новой платформе уже присоединились Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel. Кроме того, Nvidia сотрудничает с Anthropic для интеграции облачных управляемых агентов с OpenShell.
|
|
|
