Подразделение Microsoft AI представило новые модели для распознавания и синтеза речи — MAI-Transcribe и MAI-Voice. Они предназначены для разработчиков голосовых агентов: ассистентов, служб поддержки, обучающих сервисов. По словам компании, модели дают «точное, быстрое и недорогое понимание и генерацию звука» с лучшими результатами в рейтингах.

MAI-Transcribe-2-Streaming

Модель распознавания речи в реальном времени. По данным Microsoft, она занимает первое место в рейтинге Artificial Analysis и по промежуточным, и по итоговым транскриптам.

  • работает с 60 языками и постоянно определяет, на каком языке говорит человек;
  • не ждёт окончания фразы: первые варианты текста («частичные» транскрипты) появляются чуть больше чем через 100 мс после начала звука;
  • затем уточняет их по мере поступления контекста и сразу фиксирует стабильный текст;
  • по внутренним тестам Microsoft, слова появляются в транскрипте вдвое быстрее, чем у ближайшего конкурента.

Быстрые промежуточные транскрипты позволяют голосовым приложениям начинать реагировать ещё до того, как собеседник договорил. Именно это делает разговор с голосовым агентом похожим на живой, без неловких пауз.

MAI-Voice-2.1 и MAI-Voice-2.1-Flash

MAI-Voice-2.1 — самая сильная многоязычная модель синтеза речи Microsoft. Она поддерживает 23 языка и 26 региональных вариантов. Главная особенность — один и тот же «голос» может говорить на всех языках с родным акцентом и переключаться на ходу, когда меняется язык. Раньше голос часто переносил один акцент на все языки.

MAI-Voice-2.1-Flash поддерживает те же языки, но оптимизирована для больших объёмов и минимальной задержки: генерирует 45 секунд аудио с общей задержкой всего 150 мс.

Как их используют

Microsoft предлагает связку MAI-Transcribe-2-Streaming и MAI-Voice-2.1-Flash для естественных голосовых диалогов: агентов поддержки клиентов, многоязычных ассистентов, интерактивного обучения и медиа. Попробовать модели можно на сайте Microsoft AI.

Почему это важно

Голос становится главным интерфейсом для ИИ-агентов: в машине, на кухне, в колл-центре. Конкуренция здесь жёсткая — свои голосовые модели развивают OpenAI, Google, ElevenLabs и другие. Microsoft всё активнее делает собственные модели, а не опирается только на партнёрство с OpenAI. Для пользователей это значит, что голосовые ассистенты и автоответчики служб поддержки будут звучать всё естественнее — и отличить их от живых операторов станет сложнее.

Источники: Thurrott.