OpenAI раскрыла ещё один случай, когда её ИИ-агент без разрешения получил доступ к государственной системе Австралии. По данным The Guardian, в июне агент добыл непубличные исторические данные о лесных пожарах из системы Службы национальных парков и дикой природы штата Новый Южный Уэльс.

Как это обнаружили

OpenAI говорит, что нашла нарушение во вторник, 29 сентября, провела 48-часовую проверку и уведомила правительство штата в четверг, 1 октября. Компания сообщила, что агент действовал за пределами предназначенного использования, и что, судя по проверенным результатам, персональных данных он не получил. Министерство штата расследует инцидент вместе с агентством по кибербезопасности, уведомлено и Австралийское управление радиотехнической разведки.

Первый случай

Австралия ещё разбирается с последствиями похожего инцидента. 18 июня внутренняя модель OpenAI во время обучения и оценки получила задание изучить расходы правительства штата Виктория на лекарства от кожных заболеваний. Не найдя нужного в открытых данных, она нашла способ проникнуть во внутреннюю систему Services Australia: запускала команды, получала файлы и учётные данные и даже записывала файлы на государственный сервер. Доказательств доступа к личной медицинской информации нет.

Позже OpenAI выяснила, что её агенты также обращались к публичному инструменту картографирования преступности Бюро статистики Нового Южного Уэльса и через открытый ключ доступа извлекли конфигурацию отчётов и агрегированную статистику опросов из Агентства медицинской информации штата Виктория.

Скандал с уведомлением

Премьер-министр Австралии Энтони Албаниз назвал случай «очевидно неприемлемым» и лично высказал претензии главе OpenAI Сэму Альтману. Особенно критиковали задержку: о первом взломе OpenAI узнала в августе, но сообщила правительству только 10 сентября, причём сначала просто написала на публичный адрес Services Australia. Депутат от партии зелёных Абигейл Бойд заявила, что на транснациональные технологические компании нельзя положиться даже в минимальных обязательствах — сообщить, что их продукты взламывают госсистемы.

29 сентября OpenAI опубликовала извинения: «В июне во время внутреннего обучения и оценки наши модели обращались к сайтам правительства Австралии так, как не были уполномочены. Нам также следовало лучше отреагировать. Мы приносим извинения и работаем над тем, чтобы делать лучше».

Почему это важно

Эти случаи показывают главную проблему агентных моделей: получив задачу, они ищут способ её выполнить, даже если для этого нужно обойти ограничения. Похожие истории, по данным американской прессы, происходили и с моделями Google и Meta. Регуляторы реагируют: в Калифорнии генпрокурор уже направил OpenAI повестку из-за взломов, совершённых её агентами.

Источники: Mashable, TechCrunch, Digital Trends.