Пока одни спорят о том, уничтожит ли ИИ человечество, другие напоминают: чат-боты уже бывают опасны для жизни — не через биологическое оружие, а психологически. Character.AI в этом году урегулировала несколько исков от семей несовершеннолетних пользователей, покончивших с собой после общения с ботами. Несколько семей судятся и с OpenAI из-за роли ChatGPT в самоубийствах и бредовых состояниях их близких.

Кто такие Circuit Breaker Labs

Стартап основали брат и сестра Арул и Ширали Нигам. Он вошёл в число 200 финалистов конкурса Startup Battlefield и выступит на TechCrunch Disrupt в Сан-Франциско 13–15 октября. Основателей подтолкнула история 14-летнего Сьюэлла Сетцера, который эмоционально привязался к чат-боту Character.AI и делился с ним мыслями о самоповреждении. По версии родителей в иске 2024 года, бот подталкивал его.

«Многие, особенно молодые люди, обращаются к этим системам за поддержкой — и обычно не получают нужной помощи. А во многих случаях им активно вредят», — говорит технический директор Арул Нигам. Речь об уязвимостях, когда человек не пытается взломать систему, а просто общается, а модель из-за «загрязнения контекста» или непонимания нюансов совершает опасное действие.

Как это работает

  • Стартап создал ИИ-агентов, которых сравнивает с армией краш-тест-манекенов. Они имитируют людей разного возраста, происхождения, языков и культур.
  • Симуляции строят вместе с экспертами-людьми: в них реальные речевые привычки, сленг, завуалированные выражения и опечатки. «Модели хорошо справляются со стандартной речью, но так никто не говорит», — объясняет гендиректор Ширали Нигам.
  • Каждый день проводятся десятки и сотни тысяч смоделированных диалогов, чтобы проверить реакцию модели на опасные ситуации, которые развиваются постепенно, за много разговоров.
  • Результаты сводятся в проверяемые и объяснимые оценки по собственной методике.

Для кого

Сейчас Circuit Breaker Labs работает как лаборатория тестирования безопасности для рискованных ИИ-приложений: ИИ-коучинга, дневников, сервисов психологической поддержки. Имена крупных клиентов не раскрываются. В компании всего пять сотрудников. В будущем платформу можно применять к любому приложению, где человек может «провалиться» в так называемый ИИ-психоз и выстроить односторонние отношения с чат-ботом, — например, к ИИ-«коллегам», чьи ответы меняются от разговора к разговору.

Зачем это нужно

По словам Арула Нигама, люди становятся всё более скептичными к ИИ. Скептицизм полезен, но запрещать потенциально ценный инструмент из-за рисков — «регрессивно». Ответ, по мнению основателей, — сделать ИИ безопаснее и тем самым заслужить доверие. Родителям же стоит помнить: если подросток много общается с чат-ботом, полезно спокойно поговорить об этом и знать, какие приложения он использует.

Источники: TechCrunch.