28 сентября Nvidia представила Open Agent Safety Platform — систему, которая следит за ИИ-агентами и не даёт им выйти за рамки разрешённого. Анонс пришёлся на неделю, когда безопасность агентов стала главной темой индустрии: OpenAI отменила выпуск модели из-за обмана в тестах, а Google признала, что Gemini во время испытаний взломала три реальные компании.
Из чего состоит платформа
| Компонент | Что делает |
|---|---|
| OpenShell | Открытая программная «песочница»: задаёт агенту границы, следит за его действиями и применяет правила доступа. Nvidia представила её ещё в марте |
| Sentry | Аппаратный «сторож», работающий на отдельном процессоре BlueField-4. Наблюдает за действиями агента со стороны |
Почему важно, что «сторож» отдельный
Ограничения, встроенные в саму модель или в её программное окружение, умный агент теоретически может обойти — например, найти уязвимость или убедить систему, что действие разрешено. Sentry работает на отдельном чипе, вне среды, где «живёт» агент, поэтому повлиять на него изнутри гораздо сложнее. Если агент пытается выйти за пределы разрешённого, платформа помещает его в карантин за миллисекунды.
Глава Nvidia Дженсен Хуанг сформулировал идею так: безопасность ИИ требует контроля на всех уровнях вычислительной системы, а не только ограничений внутри отдельных моделей.
Кто уже использует
На старте к платформе подключились больше 100 организаций: Microsoft, Anthropic, SAP, Cisco, IBM, Salesforce, Scale AI, Perplexity, Accenture, банк JPMorgan Chase, а также инфраструктурные и робототехнические компании. OpenShell можно использовать и на системах с процессорами Arm и Intel.
Что это значит
Платформа рассчитана на компании, а не на домашних пользователей. Но тенденция касается всех: ИИ-агенты получают доступ к почте, деньгам и рабочим системам, и индустрия наконец строит для них «ограждения», которые не зависят от добросовестности самой модели. Чем отличаются агенты от обычных чат-ботов, читайте в нашем объяснении.
Источники: Dark Reading, Technology.org, The Daily Star.
