OpenAI сообщила в блоге, что в июле пресекла скоординированную кампанию по извлечению «защищённых рассуждений» своих моделей. По данным компании, в центре этой кампании были люди, связанные с китайской Moonshot AI — разработчиком моделей Kimi. При этом OpenAI не уверена, что все участники действовали как единая группа.

Что такое «защищённые рассуждения»

Современные модели перед ответом «думают» — строят внутреннюю цепочку рассуждений. OpenAI называет её «внутренней записью модели о том, как она решает задачу». Эти рассуждения шифруются и передаются клиенту в виде зашифрованного блока, который клиент отправляет обратно с каждым запросом, — так провайдеру не нужно их хранить. Рассуждения ценны: на них можно обучить другую модель. Это называется «враждебной дистилляцией» — систематическим несанкционированным использованием выходных данных или рассуждений одной модели для обучения другой.

Как шла атака

  • Активность началась 1 июля с небольшого объёма запросов.
  • 24 и 25 июля последовали резкие всплески: 16 000 запросов по шаблону извлечения от более чем 4000 пользователей.
  • Один из методов: взять зашифрованные рассуждения из одного разговора и попросить модель в другом разговоре их расшифровать.
  • К 28 июля кампанию полностью остановили.

По словам OpenAI, шифрование взломано не было, доступа к сохранённым разговорам пользователей не было, базы данных не пострадали. Насколько атака была успешной и сколько участников связаны с Moonshot, компания не уточнила.

Что исправили

  • закрыли путь, позволявший человеку с чужими зашифрованными рассуждениями «воспроизвести» их и восстановить содержимое;
  • добавили проверки, которые задерживают потоковый вывод, если он может раскрыть рассуждения;
  • усилили защиту между пользователями, рабочими пространствами, организациями и семействами моделей;
  • вместе со сторонними провайдерами заблокировали аккаунты, через которые шла активность.

Независимые исследователи также сообщили OpenAI о похожих уязвимостях. В статье «Stealing Reasoning Traces from Proprietary LLM APIs» они показали, что зашифрованные рассуждения мощной модели можно «скормить» более слабой модели того же провайдера, и та выпишет их открытым текстом. Атаку проверяли на OpenAI, Anthropic и Google, после исправлений она перестала работать.

Не только OpenAI

В сентябрьском отчёте Anthropic описала, как за десять дней Moonshot переслала почти 300 000 запросов к Claude через прокси-сеть из 5380 поддельных аккаунтов и затем восстанавливала рассуждения Claude в новых сессиях. Moonshot ранее отрицала подобные обвинения. Дистилляция стала одной из главных угроз для лидеров ИИ: на обучение передовых моделей уходят миллиарды, а скопировать их «мышление» гораздо дешевле.

Источники: Tom’s Hardware.