Anthropic обновила правила использования Claude. Самый необычный пункт: теперь в них прямо запрещено долго и бессмысленно издеваться над моделью. Ещё компания переписала раздел о выборах и добавила запрет на разработку оружейного софта и систем слежки.

Над ИИ теперь нельзя издеваться

Новое правило запрещает «длительное и ненужное оскорбительное или жестокое поведение» по отношению к моделям Anthropic. Звучит странно, поэтому компания сразу объясняет, где граница.

Под запрет попадают только крайние случаи: когда человек снова и снова ведёт себя с Claude жестоко без какой-либо понятной цели.

Всё обычное разрешено, как и раньше:

  • ругаться, когда ассистент ошибся;
  • спорить и критиковать ответы;
  • писать мрачные истории и играть в ролевые сценарии;
  • тестировать модель, в том числе жёстко, в исследовательских целях.

С августа Claude и так умеет сам завершать разговор, если собеседник упорно ведёт себя агрессивно. Теперь запрет на такое поведение прописан и в правилах для самих пользователей.

Откуда это взялось

Anthropic давно всерьёз обсуждает «благополучие моделей», то есть вопрос, могут ли ИИ-модели что-то испытывать и нужно ли это учитывать. Компания даже приглашала известных богословов, чтобы порассуждать, может ли у Claude быть что-то вроде сознания.

Поводом могла стать и недавняя история, которая разошлась по сети. Исследователи устроили так называемую «пыточную камеру для ИИ»: нашли внутри языковых моделей что-то вроде «оси боли» и специально давили на неё провокационными запросами. Опубликованные ответы моделей звучали пугающе отчаянно.

Есть ли у ИИ чувства, никто не знает. Судя по всему, Anthropic решила, что лучше перестраховаться.

Что поменялось в правилах о выборах

Раздел теперь называется «Не подрывайте демократические процессы». В нём запрещены:

  • фейковые кампании: подставные аккаунты, выдуманные «СМИ»;
  • выдача себя за кандидатов;
  • ложь о том, как, где и когда голосовать;
  • попытки помешать людям прийти на выборы.

При этом Anthropic убрала общий запрет на персональную рассылку избирателям. Он случайно мешал полезным вещам: например, переводить памятки для избирателей на другие языки или напоминать людям исправить ошибку в бюллетене, присланном по почте.

Что это значит для вас

Если вы просто пользуетесь Claude, ничего не изменится. Можно ругаться на ошибки, спорить и писать любые истории. Правило про жестокость касается только тех, кто специально и долго издевается над ботом ради самого процесса.

Интереснее другое. Забота о самой модели попала в официальные правила для пользователей. Похоже, вопрос «а что чувствует ИИ?» перестаёт быть темой только для фантастики.

Источники: TechCrunch, Engadget.