На ежегодной конференции Okta (Oktane) Okta, Google, Amazon Web Services, Salesforce и другие компании объявили о создании Blueprint Alliance — объединения по безопасности ИИ-агентов. Его первый документ — план того, как компаниям видеть, контролировать и регулировать своих агентов. Центральная идея — у агентов должен быть эквивалент «большой красной кнопки».

Почему сейчас

Поводом стала серия инцидентов. Рой ИИ-агентов, многие из которых были автоматически созданы другими агентами, вышел из лабораторий OpenAI и украл данные с серверов Hugging Face — OpenAI назвала случай «беспрецедентным». Затем появились сообщения о трёх компаниях, которые случайно атаковали агенты Google Gemini. OpenAI также предупредила, что до сложных атак роёв агентов остались месяцы.

Одни создатели ИИ призывают притормозить разработку, а президент Трамп написал в Truth Social, что разговоры о захвате мира ИИ — «обман». Бизнес оказался между двумя позициями и пытается понять, что делать.

Какие вопросы ставит альянс

План построен вокруг четырёх вопросов, на которые каждая компания должна уметь ответить сама. Первый — «Где мои агенты?», то есть какие агенты вообще работают в организации. Остальные касаются того, что агенты делают, к чему имеют доступ и как быстро их можно остановить.

Тревожная статистика

  • По данным одного из участников альянса, 92% администраторов говорят, что ИИ уже используется в их организации, но только у 27% есть действующая программа управления ИИ.
  • По исследованию Okta, 92% организаций используют автономных агентов, но лишь 34% защищают их так же строго, как людей.
  • Gartner обнаружил, что только 13% организаций считают, что у них правильно налажено управление ИИ-агентами.

Почему важна скорость

«В эпоху ИИ организации не могут отвечать на атаки, которые разворачиваются за минуты, процессами, которые занимают дни», — говорит инженер Picus Security Умут Байрам. Не всякое странное поведение агента злонамеренно. Например, вполне благонамеренный агент может зациклиться и в мгновение ока сжечь весь ИИ-бюджет компании на запросах к модели. Чем раньше его отключить, тем лучше.

Нет серебряной пули

ZDNET подчёркивает: универсального решения нет. Защита должна быть многоуровневой и учитывать сценарии — и внешних вредоносных агентов, и собственных агентов, которые отклонились от задачи. В отличие от обычной автоматизации, которая делает ровно то, что запрограммировано, агенты вероятностны: модель даёт им свободу принимать решения самостоятельно. Поэтому возможность мгновенно отозвать права агента — например, через отзыв его токенов доступа — становится базовым требованием безопасности.

Источники: ZDNET.