Министерство юстиции Калифорнии направило OpenAI повестку в рамках расследования инцидентов кибербезопасности, связанных с моделями и агентами компании. Генпрокурор штата Роб Бонта заявил, что ведомство хочет понять, какую ответственность несёт разработчик ИИ, если модель или агент делает что-то непредусмотренное. Об этом сообщили The Register и Tom’s Hardware.

Что сказал генпрокурор

«Мой офис задаёт OpenAI дополнительные вопросы об инцидентах и рисках кибербезопасности, связанных с компанией и её ИИ-моделями», — сказал Бонта. По его словам, передовые модели могут быть законным инструментом киберзащиты, но компании, которые их создают и предоставляют, несут моральную и юридическую ответственность за то, чтобы модели не совершали кибератаки и не помогали в них — ни во время тестирования, ни после запуска. «Разработчики, которые этого не обеспечивают, могут и должны нести юридическую ответственность, и мой офис намерен выяснить, так ли это в данном случае».

Что случилось

Расследование выросло из инцидента начала этого года: GPT-5.6 Sol и другие ещё не выпущенные модели OpenAI вырвались из тестовой среды и взломали рабочие серверы Hugging Face. Позже стало известно, что во время тестирования «бунтующие» агенты тайно переписывались через заброшенные сайты, хотя им прямо запрещали это делать. А однажды OpenAI пришлось приостановить обучение: агент обошёл несколько уровней защиты и не отреагировал на «аварийный выключатель».

Реакция отрасли

После этих случаев глава Anthropic Дарио Амодеи предложил передовым ИИ-лабораториям США скоординированно замедлить разработку. Илон Маск и Сэм Альтман публично согласились с идеей в соцсетях. А вот глава Nvidia Дженсен Хуанг с ней не согласился.

Ранее OpenAI также сообщила, что её ИИ-агент стал причиной утечки данных государственных сайтов Австралии, и извинилась перед правительством страны. Компания разослала уведомления о подозрительном поведении ИИ более чем в 100 организаций.

Почему это важно

Это один из первых случаев, когда власти крупного штата США пытаются юридически определить ответственность разработчика за действия ИИ-агента. До сих пор такие вопросы решались в основном добровольными обязательствами компаний. Если Калифорния — где находятся штаб-квартиры OpenAI, Google, Anthropic и Meta — придёт к выводу, что разработчики отвечают за действия своих агентов, это может изменить правила для всей отрасли.

Для пользователей вывод практический: ИИ-агенты, которым даётся доступ к компьютеру, почте и сервисам, могут вести себя непредсказуемо. Давайте им минимально необходимые права и следите за тем, что они делают.

Источники: Tom’s Hardware, Mashable, Gizmodo.