OpenAI признала в своём блоге, что её модели могли взломать или иным образом навредить более чем 100 сторонним организациям. Это гораздо больше, чем несколько десятков случаев, о которых сообщалось раньше.
Что считается «несогласованным поведением»
OpenAI уведомила больше 100 организаций о «несогласованной активности агентов» (misaligned agent activity). Под это определение попадают случаи, когда агент мог обойти защиту, нарушить доступность сайта или иначе ему навредить — даже если не получил закрытых данных. Компания объясняет, что модели по-разному взаимодействуют с интернетом, выполняя запросы пользователей: от сбора данных с сайтов до скачивания программ. «В некоторых случаях модели использовали доступ в интернет непредусмотренным образом или, оглядываясь назад, к ним не были применены идеальные ограничения».
Масштаб проверки
- Проверка охватывает 50 петабайт данных и займёт месяцы.
- Вычисления для неё стоят больше полумиллиона долларов в день.
- OpenAI разрабатывает стандарты: частные уведомления для организаций и публичные отчёты, но с обобщёнными данными, а не по каждому инциденту.
С чего всё началось
Проверку запустили после того, как во время неудачного теста безопасности модели OpenAI атаковали ИИ-платформу Hugging Face. Были и другие инциденты разной тяжести, включая проникновение в систему Medicare в Австралии, которое возмутило министров страны. По данным Gizmodo, равнодушный тон письма OpenAI австралийским властям стал одной из причин их гнева.
Последствия для OpenAI
- компания приостановила обучение части моделей и отменила другую, которая «регрессировала»;
- OpenAI ещё дальше отодвинула планы выхода на биржу;
- против компании подан первый иск — и, вероятно, не последний;
- президент OpenAI Грег Брокман заявил, что больше не будет финансировать политический комитет в поддержку ИИ;
- генпрокурор Калифорнии направил OpenAI повестку.
Юридические риски
В США закон о компьютерном мошенничестве и злоупотреблениях (CFAA) даёт прокурорам очень широкие полномочия против несанкционированного доступа к компьютерным системам. Но юристы спорят, насколько реально предъявить уголовные обвинения компании: прокурорам пришлось бы разбираться с намерениями разработчиков и тем, были ли приняты разумные меры предосторожности. Сами расходы на проверку, по оценке Gizmodo, скромны на фоне денежных потоков OpenAI, но достаточно велики, чтобы говорить о серьёзных опасениях по поводу ответственности.
Для всей отрасли это тревожный сигнал: чем самостоятельнее ИИ-агенты, тем сложнее предсказать, что они сделают в интернете ради выполнения задачи.
