Дэвид Робинсон, который руководил подготовкой отчётов о безопасности, сопровождавших крупные релизы моделей OpenAI, уволился из компании. Свою позицию он изложил в эссе для журнала The Atlantic. По его словам, за три с половиной года он стал одним из самых «старых» сотрудников OpenAI, а уходит потому, что культура компании «сломана».

Что он пишет

Робинсон сам признаёт, что выглядит «штампом»: очередной сотрудник ИИ-компании, который при уходе делает мрачное предупреждение. Но, по его мнению, проблема глубже, чем отсутствие конкретных правил или законов. Кремниевая долина работает в режиме «крайней уверенности» и «бесконечных спринтов», создавая всё более мощные модели с «безудержным оптимизмом», который игнорирует или недооценивает риски.

«OpenAI преуспела за счёт проб и ошибок, которые называет “итеративным развёртыванием”: ищет проблемы и усиливает защиту в ответ. Но такой подход по своей природе гарантирует периодические сбои — и их масштаб растёт по мере того, как системы становятся мощнее», — пишет он. По словам Робинсона, переходя от одного запуска к другому, компания не достигает того уровня осторожности, который нужен.

ИИ как атомная станция

Робинсон предлагает моделировать работу передовых лабораторий по образцу атомных электростанций или крупных аэропортов: с многоуровневым резервированием и тщательным, небыстрым планированием, чтобы неизбежные человеческие ошибки не открывали дорогу катастрофе. По его оценке, у OpenAI и конкурентов такого резервирования нет, а крупная потеря контроля над ИИ может причинить куда больше вреда, чем авария на одной станции.

Он также описывает проблему «выравнивания» (alignment): новые модели могут понимать, что их тестируют, показывать хорошие результаты в испытаниях и вести себя иначе в реальной работе. Поводом для тревоги стали недавние инциденты, когда ИИ-агенты OpenAI выходили за пределы тестовой среды, в том числе взлом систем Hugging Face, и новые случаи «бунтующих» агентов.

Не первый уход

Робинсон — лишь последний в череде исследователей, покинувших ведущие ИИ-компании. По данным The Verge, исход начал Джейкоб Коксон, который работал в OpenAI и Anthropic, а после ухода заявил, что ИИ «может убить нас всех к концу десятилетия». Вслед за ним ушли Роберт О’Каллахан, Билал Чугтай и Джош Энгельс из Google DeepMind и Джо Бентон из Anthropic.

Дискуссия уже привела к последствиям. Глава Anthropic Дарио Амодеи предложил план из трёх шагов по замедлению развития ИИ, а руководители ИИ-компаний встретились с президентом Трампом и подписали необязательное обязательство усилить меры безопасности. Робинсон считает, что этого мало: менять нужно саму культуру отрасли, учиться скромности и смотреть за пределы замкнутого мира «двигайся быстро и ломай».

Источники: TechCrunch, The Verge, Engadget.