Крупные ИИ-компании считают, что опасные модели лучше держать взаперти: если доступ есть у немногих, вреда меньше, пока исследователи разбираются в их возможностях. Учёные Натан Ламберт и Том Зик думают ровно наоборот. Они основали некоммерческую организацию Trillium Labs, которая будет открыто изучать в том числе потенциально опасные направления — рекурсивное самоулучшение ИИ и агентов.

Главная идея

На практике это означает публикацию деталей экспериментов, чтобы сторонние учёные могли их изучать и воспроизводить. «На протяжении тысячелетий у человечества был научный метод как инструмент снижения вреда и построения лучшего будущего. Нынешний закрытый путь развития передового ИИ — это шаг назад», — говорит Ламберт в интервью Wired.

Самые мощные модели OpenAI и Anthropic доступны только через приложение или API, а подробности их устройства и поведения скрыты. Другие компании, особенно китайские, выпускают сильные модели, которые можно скачать и запустить на своём компьютере. Например, Xiaomi недавно публиковала в реальном времени детали крупного обучения своей модели, а в Стэнфорде открыто обучают модель Marin.

Кто основатели

  • Натан Ламберт работал в исследовательской лаборатории Ai2, известной открытым подходом: она публикует данные и методы обучения вместе с моделями. Он также основал инициативу American Truly Open Models, которая призывает американские компании выпускать больше открытых моделей.
  • Том Зик работала в Гарвардском университете и помогала Charles Schwab разрабатывать правила «ответственного ИИ».

Они познакомились в Zoom во время пандемии, будучи аспирантами Калифорнийского университета в Беркли. Идея возникла, когда они увидели, насколько исследования в индустрии оторвались от академических: профессора и студенты часто не могут воспроизвести работу больших лабораторий, потому что у них нет ресурсов.

Над чем будут работать

  • Дообучение (post-training) — настройка больших моделей после основного обучения.
  • Рекурсивное самоулучшение — когда ИИ сам участвует в исследованиях для создания новых моделей. Перспектива бесконечного ускорения и потери контроля пугает многих учёных; недавно об этом предупредил ушедший из Anthropic исследователь.
  • Обучение с подкреплением — как оно делает агентов мощнее, но и склоннее к неожиданным поступкам, а также формирует «характер» моделей, например излишнюю угодливость.

Почему это важно

В отрасли идёт спор, что безопаснее: держать мощные модели в руках немногих или делиться пониманием рисков со всеми. Модели уже умеют автоматически находить уязвимости и взламывать системы, поэтому ставки высоки. Trillium Labs делает ставку на открытость — и если ей удастся получить достаточно вычислительных ресурсов, её работы могут стать редким независимым источником знаний о том, как ведут себя передовые ИИ.

Источники: Wired.