Hedy добавляет NVIDIA Nemotron 3 Diarization на iPhone и Mac

Сегодня NVIDIA выпустила Nemotron 3 Diarization, свою самую мощную на данный момент модель диаризации говорящих, и Hedy поддерживает её с первого дня в версии 3.12 на iPhone и Mac. Это самая точная модель диаризации из всех, что мы видели, и она работает на вашем собственном устройстве, так что записи о том, кто что сказал, после встречи легче доверять.

Метки говорящих превращают транскрипт в разговор. Когда они сбиваются, цитата достаётся не тому человеку, а резюме повторяет ошибку. Именно эту проблему и решает эта модель.

Что делает Nemotron 3 Diarization?

Диаризация отвечает на один вопрос о записи: кто и когда говорил. Она делит звук по говорящим и отмечает, где каждый из них говорит. Расшифровка слов — отдельная задача, как и знание чьих-либо имён.

Nemotron 3 Diarization — новейшая модель NVIDIA для этой задачи. Она развивает исследование NVIDIA Streaming Sortformer, которое сохраняет метку каждого говорящего стабильной по ходу разговора. Из документации NVIDIA к модели:

• Она обучена на разговорном звуке, включая встречи, телефонные звонки и подкасты.
• Она справляется с наложением речи, то есть с моментами, когда двое говорят одновременно.
• Она умеет различать до восьми говорящих в записи.
• Она помечает говорящих в порядке первого выступления, так что первый голос становится «Говорящим 1».
• Это компактная модель, около 100 миллионов параметров, и именно поэтому её запуск на телефоне реалистичен.

Кроме того, она обходит облачные сервисы в двух опубликованных бенчмарках. Согласно публикации NVIDIA о запуске, модель занимает первое место в рейтинге диаризации VoiceArena с уровнем ошибки диаризации 14,72 % (доля времени речи, помеченная неверно) против 19,3 % у следующей системы. В опубликованном бенчмарке Argmax у неё был самый низкий уровень ошибок среди шести протестированных систем, три из которых — облачные сервисы диаризации, при том что она работала на Mac.

NVIDIA также сообщает об улучшении по сравнению с предыдущей моделью диаризации во всех протестированных бенчмарках, причём разрыв растёт, когда говорят больше четырёх человек: именно здесь метки говорящих обычно работали хуже всего.

График: NVIDIA, из публикации о запуске Nemotron 3 Diarization. Чем ниже, тем лучше; заштрихованные области — более четырёх говорящих. NVIDIA публикует модель на Hugging Face вместе с полными результатами оценки.

Что Nemotron 3 Diarization меняет в Hedy?

Hedy уже помечает говорящих, пока вы разговариваете, с помощью движка распознавания речи Nemotron. Эти метки в реальном времени остаются ровно такими же.

Новое происходит после окончания сессии. Метки в реальном времени приходится определять на ходу, поэтому теперь, когда разговор окончен, Hedy проверяет его ещё раз. Она запускает Nemotron 3 Diarization по сессии и обновляет, какому говорящему принадлежит каждая часть транскрипта.

Этот проход затрагивает только определение говорящих. Каждое слово вашего транскрипта и каждая временная метка остаются прежними. Когда проход завершён, метки говорящих над транскриптом работают как сейчас: нажмите на метку, чтобы назвать говорящего по имени, или объедините две метки, если окажется, что это один и тот же человек.

Работает ли Nemotron 3 Diarization на устройстве?

Цель Hedy — поддержка встреч, которая слушает в реальном времени и сохраняет приватность вашего разговора. Поэтому распознавание речи по умолчанию работает на вашем устройстве, и определение говорящих тоже.

Nemotron 3 Diarization следует тому же правилу, и мы рады, что настолько мощная модель достаточно мала, чтобы работать на телефоне. Она работает на вашем iPhone или Mac через Apple Core ML, и никакой звук не уходит в облачный сервис, чтобы определить, кто говорил. Чтобы выполнить проход после сессии, Hedy хранит звук сессии во временном кэше на устройстве и затем удаляет его. Этот кэш и управляющую им настройку объясняет руководство по распознаванию речи.

Шаг ИИ, который пишет ваше резюме и заметки, — отдельный выбор. Его тоже можно оставить на устройстве с помощью локальной обработки ИИ.

Какие устройства поддерживают Nemotron 3 Diarization?

Nemotron 3 Diarization работает на поддерживаемых iPhone и Mac с Apple Silicon при Hedy 3.12 или новее. Hedy на Windows и Android сохраняет нынешние метки говорящих.

Hedy 3.12 выходит в течение ближайших 24 часов, поэтому ищите обновление в Hedy. Когда оно у вас появится, откройте Настройки → Речь и ИИ и установите обновление речевой модели, которое Hedy там предложит.

Оно применяется к сессиям, в которых использовался движок распознавания речи Nemotron, — именно он разделяет говорящих в Hedy. Если сейчас вы используете Whisper или облачного провайдера распознавания речи, то, переключившись на Nemotron в том же экране настроек, вы получите метки говорящих, и в реальном времени, и после сессии.

Часто задаваемые вопросы

Что такое Nemotron 3 Diarization?

Это модель диаризации говорящих от NVIDIA. Диаризация — это шаг, который определяет, кто и когда говорил в записи. Nemotron 3 Diarization создана для разговоров вроде встреч и звонков, справляется с ситуациями, когда люди перебивают друг друга, и умеет различать до восьми говорящих.

Насколько точна Nemotron 3 Diarization?

По данным NVIDIA, модель занимает первое место в рейтинге диаризации VoiceArena с уровнем ошибки диаризации 14,72 % против 19,3 % у следующей системы. В опубликованном бенчмарке Argmax у неё был самый низкий уровень ошибок среди шести протестированных систем, включая три облачных сервиса диаризации. Уровень ошибки диаризации — это доля времени речи, отнесённая не к тому говорящему, пропущенная или ошибочно принятая за речь, поэтому чем ниже, тем лучше.

Изменятся ли метки говорящих во время живой сессии?

Нет. Метки, которые вы видите, пока сессия идёт, работают так же, как сейчас. Nemotron 3 Diarization делает свою работу после окончания сессии.

Она работает на моём устройстве?

Да. Модель работает на вашем iPhone или Mac через Apple Core ML. Чтобы определить, кто говорил, ваш звук не отправляется в облачный сервис.

К каким сессиям это относится?

К сессиям, в которых использовался движок распознавания речи Nemotron. Модель читает звук сессии, поэтому он должен быть на вашем устройстве: либо включена запись звука, либо включён временный аудиокэш для Nemotron. Кэш включён по умолчанию и удаляется после обработки.

Знает ли она имена людей?

Нет. Модель различает голоса и помечает их как «Говорящий 1», «Говорящий 2» и так далее. Имена по-прежнему берёт Hedy: она подхватывает их из представлений, приглашения в календаре и контекста темы, а также из имён, которые вы вводите сами.

Какие устройства поддерживаются?

Поддерживаемые iPhone и Mac с Apple Silicon, на которых установлен Hedy 3.12 или новее. Hedy на Windows и Android сохраняет нынешние метки говорящих.