Провайдеры распознавания речи в Hedy

Что такое провайдеры распознавания речи?

Hedy поддерживает несколько вариантов распознавания речи, поэтому вы можете выбрать между полной приватностью локальной обработки и облачными альтернативами. Провайдера можно менять в любой момент в зависимости от задачи: локальный подходит для сессий без интернета, а облачные сервисы пригодятся, когда вам нужны их особые возможности.

Начало работы

1. Откройте приложение Hedy

2. Откройте Настройки и перейдите на вкладку Речь и ИИ

3. Найдите Настройки распознавания речи

4. Выберите нужного провайдера в раскрывающемся меню

5. При необходимости настройте параметры провайдера

6. Выбор вступит в силу в следующей сессии

Доступные провайдеры

В Hedy есть пять вариантов распознавания речи, и у каждого свои особенности:

• Whisper (локально): вариант по умолчанию. Полностью приватный, работает без интернета, без платы за использование. Аудио для расшифровки не покидает ваше устройство. В нативных приложениях, кроме 32-битного Android, может добавлять метки говорящих после завершения сессии. В веб-версии Whisper недоступен.

• Nemotron (локально): более новый потоковый движок на устройстве с расшифровкой в реальном времени и метками говорящих прямо на устройстве. Можно выбрать режим только для английского (самый быстрый) или многоязычный режим, охватывающий широкий набор основных языков. Доступен на всех платформах, для которых у Hedy есть нативное приложение: на Mac с Apple Silicon под macOS 15 и новее, iPhone XS и новее, iPad с Neural Engine (iPad Pro 2018, iPad Air 3, iPad mini 5, iPad 8-го поколения или новее), Windows и Android. На устройствах Apple он работает на Neural Engine и расставляет метки говорящих в реальном времени; на Windows и Android метки добавляются в конце сессии. Нужно один раз скачать модель (около 0,6 ГБ для только английского, 0,7 ГБ для многоязычного режима).

• Deepgram: облачный сервис с потоковой обработкой в реальном времени и функциями умного форматирования. Использует Nova-3, которая поддерживает десятки языков. Hedy показывает все языки, доступные в Nova-3, поэтому вы можете расшифровывать встречи на любом поддерживаемом языке, не меняя провайдера, в том числе на швейцарском немецком, армянском, гуджарати, непальском и панджаби, а также на региональных вариантах нидерландского, французского, португальского, испанского и китайского. Нужен собственный API-ключ.

• OpenAI: облачная расшифровка с обнаружением голосовой активности и автоматическим определением языка. Живые сессии используют актуальное поколение OpenAI, gpt-live-transcribe, а импортированные файлы обрабатываются gpt-transcribe; прежние модели остаются доступными, если вы сохраняли одну из них. Hedy автоматически продолжает длинные сессии после лимита OpenAI в 60 минут на соединение, незаметно меняя соединения, так что встречи длиной больше часа идут без перерывов. Нужен собственный API-ключ.

• xAI: облачная расшифровка на grok-voice-transcribe от xAI: потоковая для сессий и пакетная для импортированных файлов. Поддерживает 25 языков, а ваш пользовательский словарь передаётся как подсказки, поэтому имена и названия продуктов возвращаются в нужном вам написании. Нужен собственный API-ключ.

Настройка Whisper (локально)

При работе с Whisper можно подобрать параметры под ваше устройство и задачи:

Для пользователей macOS:

• Маленькая модель: самая быстрая, рекомендуется для Mac с процессором Intel

• Обычная модель: баланс скорости и точности для большинства пользователей

• Большая модель: самый точный вариант для многих языков, кроме английского (однократная загрузка около 900 МБ)

Для пользователей iOS/Android:

• Использовать большую модель: включите для более высокой точности, особенно для языков, отличных от английского (рекомендуется только для iPhone 12 и новее и телефонов Android 2024 года и позже)

Обнаружение голосовой активности (VAD):

VAD автоматически отфильтровывает тишину и фоновый шум, улучшая качество расшифровки. Для Whisper эта функция включена по умолчанию.

• Включение и отключение: включайте или отключайте VAD в зависимости от условий записи

• Чувствительность: настройка от «Высокая чувствительность» (захватывает больше речи, в том числе тихие звуки) до «Максимальная фильтрация» (захватывает только чёткую речь, сильнее отсекает фоновый шум)

Частота транскрипции:

• Медленнее: обновляет транскрипт примерно дважды в минуту (экономит заряд батареи)

• Нормально: обновляет транскрипт каждые 5 секунд (рекомендуется большинству пользователей)

• Быстрее: обновляет транскрипт каждую секунду (расходует больше энергии)

Настройка Nemotron (локально)

Он расшифровывает речь целиком на устройстве и показывает транскрипт в реальном времени, пока вы говорите. Доступен на всех платформах, для которых у Hedy есть нативное приложение: iOS, iPadOS, macOS, Windows и Android. На устройствах Apple он работает на Neural Engine.

Требования к устройству:

• Mac с Apple Silicon (M1 или новее) под macOS 15 или новее, или

• iPhone XS или новее, либо iPad с Neural Engine (iPad Pro 2018, iPad Air 3, iPad mini 5, iPad 8-го поколения или новее), или

• Windows, или

• 64-битный телефон Android

Только английский или многоязычный режим:

В раскрывающемся списке провайдеров Nemotron представлен двумя вариантами, так что можно выбрать подходящий для ваших встреч:

• Nemotron English Only (локально): потоковая расшифровка английской речи, самый быстрый вариант.

• Nemotron Multilingual (локально): потоковая расшифровка на устройстве для широкого набора основных языков, когда нужно больше, чем английский.

Оба работают полностью на устройстве. English Only всегда расшифровывает на английском и игнорирует настройку языка встречи. Multilingual использует ваш Язык встречи/занятия, если не включить Auto-detect language (Настройки > Речь и ИИ): тогда он определяет язык по аудио.

Первая настройка:

1. Выберите Nemotron English Only (локально) или Nemotron Multilingual (локально) в раскрывающемся списке провайдеров

2. Нажмите Скачать модель Nemotron (около 0,6 ГБ для только английского, 0,7 ГБ для многоязычного режима). Рекомендуем делать это по Wi-Fi

3. После завершения загрузки Nemotron будет использоваться автоматически в следующей сессии

Метки говорящих и временный аудиокеш:

Оба движка на устройстве отмечают, кто говорит. С Nemotron на устройствах Apple метки появляются в реальном времени, пока вы говорите; с Nemotron на Windows и Android, а также с Whisper на поддерживаемых устройствах они добавляются в конце сессии. Чтобы определить говорящих, Hedy на время обработки хранит аудио каждой сессии во временном кеше на устройстве, а затем удаляет его. Это аудио остаётся на вашем устройстве. Параметр Временный аудиокеш включён по умолчанию; его можно отключить в настройках Hedy, хотя при включённом кеше говорящие определяются точнее. Чтобы Whisper добавлял метки говорящих, нужен либо этот кеш, либо Сохранить аудио сеанса, а также Обнаружение голосовой активности. Метки говорящих Whisper недоступны в веб-версии и на 32-битном Android.

Настройка облачных провайдеров

Настройка Deepgram:

1. Создайте аккаунт на console.deepgram.com

2. Сгенерируйте API-ключ в личном кабинете

3. В настройках Hedy выберите Deepgram в раскрывающемся списке

4. Вставьте API-ключ и нажмите «Тест» для проверки

5. Выберите модель и языковые параметры

6. Задайте максимальную длительность сессии, чтобы контролировать расходы

Настройка OpenAI:

1. Получите API-ключ на platform.openai.com/api-keys

2. В настройках Hedy выберите OpenAI в раскрывающемся списке

3. Введите API-ключ и проверьте соединение

4. Выберите нужную модель. Для живых сессий по умолчанию используется gpt-live-transcribe, а для импортированных файлов gpt-transcribe

5. При желании включите обнаружение голосовой активности с регулируемой чувствительностью

6. Задайте максимальную длительность сессии для контроля расходов

Настройка xAI:

1. Получите API-ключ на console.x.ai

2. В настройках Hedy выберите xAI в раскрывающемся списке

3. Вставьте API-ключ

4. Задайте максимальную длительность сессии для контроля расходов

Как выбрать подходящего провайдера

Выбирайте исходя из своих приоритетов и сценария использования:

• Приватность прежде всего: используйте локальный движок (Whisper или Nemotron): аудио для расшифровки не покидает ваше устройство

• Работа без интернета: все локальные движки работают без подключения

• Облачные возможности: Deepgram, OpenAI и xAI предлагают облачную обработку

• Определение речи: в Whisper и OpenAI есть функции обнаружения голосовой активности

• Умное форматирование: Deepgram предлагает автоматические параметры форматирования

• Без платы за использование: у локальных движков (Whisper, Nemotron) нет поминутной оплаты

• Более быстрая расшифровка на устройстве: Nemotron обычно выдаёт транскрипт с меньшей задержкой, чем Whisper

• Многоязычная потоковая расшифровка на устройстве: Nemotron Multilingual расшифровывает речь на устройстве для широкого набора языков

• Лучший движок на устройстве для вашего языка: см. таблицу ниже

• Полностью приватный анализ: на Mac с Apple Silicon, компьютерах с Windows, iPhone 15 Pro и новее, iPad с чипами M-series или A17 Pro и поддерживаемых телефонах Android можно сочетать локальное распознавание речи с Локальным ИИ, чтобы и расшифровка, и анализ ИИ целиком выполнялись на устройстве.

Какой движок на устройстве выбрать для вашего языка

Whisper и Nemotron точны не одинаково на всех языках. Найдите ниже свой Язык встречи/занятия, чтобы узнать, какой выбрать. Если оба движка хорошо справляются с языком, мы рекомендуем Nemotron: он легче и быстрее.

Несколько замечаний ко всей таблице:

• Nemotron означает Nemotron Multilingual (локально). Для английского выберите Nemotron English Only (локально).

• Whisper Large означает Whisper с моделью Большая на Mac или компьютере с Windows. Это самый точный вариант на устройстве для нескольких языков, но он занимает больше памяти и работает медленнее, чем Nemotron. Если на вашем компьютере он слишком медленный, для этих языков следующий по качеству выбор — Nemotron.

• Whisper Large недоступен на телефонах и планшетах. Там, где в таблице указан Whisper, включите Использовать большую модель, если ваше устройство это поддерживает.

• Если ваше устройство не может запустить Nemotron (например, Mac с Intel или старый iPhone), используйте Whisper.

• Акценты, диалекты, перебивание друг друга и удалённые микрофоны снижают точность на любом языке.

На африкаанс, кантонском, иврите и сербском точность заметно ниже, чем на остальных языках, каким бы движком вы ни пользовались.

О стоимости

Что нужно знать о расходах на каждого провайдера:

• Whisper (локально): бесплатно, без платы за использование

• Nemotron (локально): бесплатно, без платы за использование (однократная загрузка модели, около 0,6–0,7 ГБ)

• Deepgram: поминутная оплата (актуальные тарифы смотрите в их личном кабинете)

• OpenAI: оплата по объёму использования (актуальные тарифы смотрите на их платформе)

• xAI: почасовая оплата, отдельно за живые сессии и импортированные файлы (актуальные тарифы смотрите на их платформе)

Настройка максимальной длительности сессии помогает избежать случайных ночных записей и контролировать расходы на API.

Рекомендации

• Начните с Whisper (локально), чтобы освоиться с функцией, а затем попробуйте Nemotron, если ваше устройство его поддерживает

• Проверяйте облачных провайдеров на коротких записях перед важными сессиями

• Следите за использованием API в личных кабинетах провайдеров, чтобы контролировать расходы

• Используйте разных провайдеров для разных сценариев

• Переходите на локальный движок в поездках и там, где интернет ограничен

• Задавайте подходящую максимальную длительность сессий (60–120 минут для обычных встреч)

Устранение неполадок

API-ключ не работает

• Убедитесь, что вы скопировали ключ целиком, без пробелов

• Проверьте, что на вашем аккаунте есть доступные средства

• Убедитесь, что у ключа есть необходимые разрешения

• Попробуйте заново сгенерировать ключ в личном кабинете провайдера

Не прошла проверка соединения

• Проверьте стабильность интернет-соединения

• Убедитесь, что брандмауэр не блокирует соединения WebSocket

• Убедитесь, что API-ключ активен и квоты достаточно

• Подождите немного и повторите попытку (возможны временные неполадки сервиса)

Проблемы с расшифровкой

• Для Whisper: попробуйте другой размер модели

• Для Whisper на Windows: если расшифровка сильно отстаёт от разговора, проверьте настройки GPU для медленной расшифровки

• Для специальных терминов, имён и аббревиатур: добавьте их через функцию пользовательского словаря

• Для Nemotron: используйте режим English Only для английских встреч; для других языков выберите многоязычный режим или перейдите на Whisper с явно заданным языком

• Для облачных провайдеров: проверьте стабильность интернет-соединения

• Убедитесь, что микрофон правильно настроен

• Сведите к минимуму фоновый шум во время записи

Настройки не сохраняются

• Дождитесь появления индикатора «Сохранено»

• Не переключайте экраны во время сохранения

• Если проблема не исчезает, перезапустите приложение

• Убедитесь, что у вас стабильное интернет-соединение

Ваши API-ключи надёжно хранятся в зашифрованной связке ключей вашего устройства и никогда не передаются на серверы Hedy. Для максимальной приватности при работе с чувствительными разговорами всегда используйте локальный движок (Whisper или Nemotron).