Как устроены транскрипты Hedy

Чем отличается транскрипция в Hedy

Создавая Hedy, мы понимали, что традиционные методы транскрипции не справляются. Большинство приложений записывают ваш звук и отправляют его на удалённые серверы, ставя под угрозу вашу конфиденциальность. Мы выбрали принципиально другой путь: Hedy обрабатывает речь локально на вашем устройстве в реальном времени. По умолчанию Hedy не хранит запись. Чтобы определить, кто говорил, поддерживаемые движки распознавания речи на устройстве держат звук сессии во временном кеше на вашем устройстве, пока сессия не завершит обработку, а затем удаляют его. Сохраняется только текстовый транскрипт.

Локальная обработка: ваши разговоры под вашим контролем

Hedy выполняет распознавание речи полностью на вашем устройстве. Это не просто функция, а принципиально новый взгляд на то, как должны работать технологии для разговоров. По умолчанию:

• Звук не хранится. По умолчанию Hedy не сохраняет записи. Временный аудиокеш, используемый для меток спикеров, остаётся на вашем устройстве и удаляется, когда сессия завершает обработку. Его можно отключить параметром Временный аудиокеш в разделе Настройки > Конфиденциальность и система.

• Звук никогда не отправляется на серверы Hedy. По умолчанию обработка речи происходит локально на вашем устройстве, поэтому аудиоданные до нас не доходят. Исключения — то, что вы включаете сами: облачный провайдер транскрипции, для которого вы указываете собственный API-ключ, и «Синхронизировать записи с iCloud», которая копирует сохранённый звук в ваш собственный аккаунт iCloud.

• Хранится только текст. Hedy сохраняет получившийся транскрипт — текстовое представление разговора, а не сам звук.

Если вы хотите сохранить звук для последующего прослушивания, включите сохранение звука в настройках сессии. Когда эта опция включена, Hedy хранит аудиозапись локально на вашем устройстве рядом с транскриптом. Даже тогда она не попадает на наши серверы. На устройствах Apple можно дополнительно включить «Синхронизировать записи с iCloud»: файл копируется в ваш собственный аккаунт iCloud, и вы сможете воспроизвести его на других устройствах Apple, на которых вы вошли в аккаунт.

Конфиденциальность для нас не запоздалая мысль, а основной принцип. Распознавание речи работает на устройстве, и по умолчанию звук не хранится. Облачный анализ по умолчанию обрабатывает содержимое транскрипта в памяти, а локальная обработка ИИ позволяет оставить весь конвейер на вашем устройстве.

Конфиденциальность звука и согласие на запись

Многие законы о записи и транскрипции, например законы о согласии всех сторон разговора в некоторых штатах США или GDPR в Европе, касаются именно записи и хранения звука. При отключённом сохранении звука (по умолчанию) Hedy:

• не хранит аудиофайлы после того, как сессия завершила обработку

• хранит звук только на вашем устройстве, во временном кеше, который удаляется, как только сессия завершает обработку

• не передаёт звук ни на какой сервер и никаким третьим лицам

Это значит, что требования к согласию, применимые к Hedy, могут отличаться от тех, что действуют для инструментов, которые записывают и хранят звук. Текстовый транскрипт, который создаёт Hedy, хранится на вашем устройстве; если при создании аккаунта вы включили облачную синхронизацию, он также синхронизируется (в зашифрованном виде) с облаком, а облачный ИИ-анализ обрабатывает содержимое транскрипта временно, если вы не используете локальную обработку ИИ.

Если вы включите сохранение звука, звук разговора будет храниться локально на вашем устройстве. В таком случае могут применяться те же соображения о согласии, что и для любого инструмента аудиозаписи.

Законы о конфиденциальности и записи различаются в зависимости от юрисдикции. Мы рекомендуем пользователям изучить местное законодательство. Эта информация предоставляется для прозрачности и не является юридической консультацией.

Транскрипция в реальном времени: техническая сложность

Создавать точные, мгновенные транскрипты на мобильном устройстве невероятно сложно. Hedy должна уравновешивать три важнейших фактора:

• Скорость обработки

• Вычислительная эффективность

• Точность распознавания речи

Наш приоритет — давать вам полезные подсказки сразу. Поэтому транскрипт, который вы видите, — это живой, развивающийся документ, передающий суть разговора по ходу дела.

Особенности транскриптов

Транскрипты, создаваемые Hedy, особенные. Они не претендуют на точность судебной стенограммы, а представляют собой динамичные, основанные на ИИ записи разговора. Вы можете заметить:

• Отдельные расхождения в пунктуации

• Небольшие различия в выборе слов

• Неформальное оформление, передающее живой ход разговора

Представьте транскрипт Hedy как умелого конспектиста, который передаёт дух разговора, а не как стенографический аппарат.

Имена спикеров в транскрипте

Метки спикеров появляются в сессиях, где Hedy разделила голоса. Оба движка распознавания речи на устройстве, Nemotron и Whisper, это умеют. В сессиях, захваченных облачным провайдером распознавания речи (Deepgram, OpenAI или xAI), нет реплик по спикерам, поэтому меток там нет. Что нужно каждому движку, описано ниже в разделе Когда метки не появляются.

В сессиях с разделением голосов над транскриптом отображается ряд меток спикеров. Каждая метка — это один спикер, которого обнаружила Hedy. Нажмите на метку, чтобы дать спикеру настоящее имя, и транскрипт, список участников и всё, что вы экспортируете из сессии, будут использовать его с этого момента.

Hedy также пытается определить имена самостоятельно. Когда человек называет себя или другой участник обращается к нему по имени, это считается свидетельством, и имя применяется автоматически. Приглашение в календаре и контекст темы помогают сопоставить нужного человека. Если данных недостаточно, спикер остаётся под номером, и Hedy не пытается угадать имя, поэтому нормально, когда одни спикеры получают имена, а другие нет.

Имя, которое вы ввели, никогда не перезаписывается. Собственные выводы Hedy заполняют только тех спикеров, которых вы сами не назвали.

Имена сопровождают сессию. Они отображаются в копиях, при отправке, в загрузках и экспорте и синхронизируются с вашими другими устройствами. Очистка транскрипта использует подтверждённые вами имена, поэтому в очищенном транскрипте фигурируют настоящие люди.

Переименование спикера не переписывает резюме и подробные заметки, которые вы уже сгенерировали. Hedy напоминает об этом: «В сгенерированных ИИ материалах сохраняются прежние имена. Обновите сводку или заметки, чтобы обновить их.» Чтобы обновить резюме, нажмите значок круговых стрелок на карточке резюме (подсказка к нему: Перегенерировать краткое содержание).

Объединение двух спикеров в одного

Когда Hedy воспринимает одного человека как двух, метки можно объединить. Нажмите на метку, которую хотите убрать, нажмите её значок объединения и в списке Объединить с… выберите спикера, которому она принадлежит. С этого момента у них будет одно имя и один цвет, а резюме и подробные заметки будут считать их одним человеком.

Если дать обеим меткам одно и то же имя, этого не произойдёт. Останутся два отдельных спикера с одинаковой подписью, и резюме по-прежнему будет видеть двух людей.

Прежде чем использовать эту функцию, учтите две вещи:

• У спикера, с которым вы объединяете, уже должно быть имя. Объединение двух безымянных спикеров недоступно, потому что у результата не было бы подписи для отображения.
• Объединение нельзя отменить из приложения, поэтому выбирайте спикера, который останется, обдуманно.

Сам транскрипт не переписывается. Объединение применяется при чтении транскрипта, поэтому оно сопровождает сессию в копиях, загрузках, при отправке, в публичных ссылках и на других ваших устройствах.

Когда метки не появляются

Для списка участников нужен транскрипт с разделёнными репликами спикеров. Оба движка распознавания речи на устройстве могут их создавать:

• Nemotron разделяет спикеров на Mac с Apple Silicon под управлением macOS 15 и новее, на iPhone XS и новее, на iPad с Neural Engine, в Windows и на 64-разрядных телефонах Android. На оборудовании Apple метки появляются в реальном времени; в Windows и на Android они добавляются по окончании сессии.
• Whisper может добавлять метки спикеров после окончания сессии во всех нативных приложениях, кроме 32-разрядных телефонов Android. Оставьте включённым Обнаружение голосовой активности и перед началом включите Сохранить аудио сеанса или Временный аудиокеш. Аудио- и видеофайлы, которые вы импортируете с помощью Whisper, тоже могут получить метки спикеров.

В сессиях, захваченных облачным провайдером распознавания речи, нет реплик по спикерам, поэтому в них меток нет. Это свойство сессии, а не настройка, которую можно включить позже: сессия, захваченная без указанных выше настроек, не получит список участников впоследствии.

Если Hedy попыталась разметить спикеров, но не смогла, она сохраняет обычный транскрипт. Уведомление о том, что метки спикеров недоступны, появляется только на устройстве, на котором проходила сессия. Оно не синхронизируется и не появляется в сессиях, которыми с вами поделились, в веб-приложении и в сессиях, где разметка не выполнялась. Это не значит, что говорил только один человек.

Уведомление появляется только в сессиях Whisper, в которых были включены Обнаружение голосовой активности и Сохранить аудио сеанса или Временный аудиокеш, поэтому оно никогда не означает, что сессия использовала облачного провайдера распознавания речи или что один из этих параметров был выключен. Разметка Whisper после сессии получается не во всех случаях. Если в сессии показано это уведомление, Очистить расшифровку (см. ниже раздел Очистка транскрипта) может добавить метки спикеров по самому разговору. Для будущих сессий можно также переключиться на Nemotron там, где ваше устройство это поддерживает; на оборудовании Apple его метки появляются в реальном времени, прямо во время сессии.

Веб-приложение само не может захватывать такие сессии, но показывает метки и позволяет переименовывать их в сессиях, синхронизированных с другого устройства.

Когда переименование недоступно

Метки отображаются, но не редактируются, когда:

• Сессией поделился с вами кто-то другой
• Сессия ещё идёт, поэтому сначала завершите её
• Вы просматриваете очищенную версию. Вернитесь к оригиналу переключателем с искрой, переименуйте там, а затем снова переключитесь

Метки времени в транскрипте

Метки времени показывают, когда была произнесена каждая часть разговора. По умолчанию они выключены. Чтобы включить их, откройте транскрипт сессии и нажмите кнопку с часами на панели инструментов рядом с транскриптом (подсказка к ней: Показать метки времени). Нажмите ещё раз, чтобы скрыть их. Hedy запоминает ваш выбор на этом устройстве.

Тогда каждая реплика спикера показывает время начала, отсчитываемое от начала сессии, например 12:40 или 1:05:12 для более длинных сессий.

Переход к нужному моменту в записи. Если у сессии на этом устройстве сохранён звук, выберите время, чтобы воспроизвести разговор с момента чуть раньше этой точки. Hedy начинает примерно за две секунды до неё, чтобы вы услышали предшествующую фразу. Чтобы сохранять звук сессии, включите Сохранить аудио сеанса до её начала (см. Запись аудиосессий и управление ими). Если звук сессии хранится в iCloud, сначала скачайте его.

Копии и загрузки включают время, пока метки времени отображаются. Если нужен обычный транскрипт, сначала скройте их.

Когда кнопка с часами не появляется

Метки времени идут вместе с метками спикеров, поэтому появляются в тех же сессиях, что и метки спикеров: в сессиях, где голоса разделили Nemotron или Whisper. Сессии, захваченные облачным провайдером распознавания речи (Deepgram, OpenAI или xAI), не содержат данных о времени, поэтому для них кнопка с часами не показывается. Для старых сессий, сохранённых до того, как начали хранить тайминг, её тоже нет.

В веб-приложении и в просмотре транскрипта темы метки времени показываются, но по ним нельзя запустить воспроизведение звука.

Очистка транскрипта

Если вам нужна более аккуратная версия транскрипта — для отправки, экспорта или просто для удобства чтения, — Hedy может по запросу создать очищенную копию. Откройте любую завершённую сессию, перейдите на вкладку Транскрипт и нажмите кнопку Очистить расшифровку (значок с искрой или звёздами, ✨, который легко не заметить). Исходный транскрипт никогда не перезаписывается: очищенная версия сохраняется рядом с ним, и вы можете переключаться между ними в любой момент.

Слишком много спикеров? Очистка транскрипта это исправит

Hedy размечает спикеров автоматически по мере транскрипции, распределяя слышимые голоса по отдельным спикерам. В длинных разговорах, а также при фоновом шуме или эхо она может насчитать лишнего и разделить одного человека на нескольких. В сессии из двух человек может оказаться пять и более спикеров. С сессией всё в порядке, и вам не нужно исправлять метки строка за строкой. Решение — запустить Очистить расшифровку: она заново прочитывает всю сессию и сводит голоса обратно, так что слишком много спикеров, неверное число спикеров, неправильные метки спикеров или один голос, разделённый на несколько, исправляются за один проход.

Если разделился только один человек, а остальной транскрипт читается нормально, меньшее по объёму решение — объединить две метки (см. выше Объединение двух спикеров в одного): оно не затрагивает всё остальное.

Нельзя переназначить отдельную реплику или фрагмент другому спикеру. Объединение и очистка транскрипта — два способа исправить неверные метки спикеров.

Прежде чем запускать, откройте сессию и проверьте заметки. Для определения говорящих очистка читает резюме и подробные заметки вашей сессии. Если в них ясно названы реальные участники, очищенная копия может подписать людей настоящими именами, а не «Спикер 1» и «Спикер 2». Поэтому стоит убедиться, что в резюме или заметках названы все, прежде чем нажимать Очистить расшифровку.

Если очищенная копия всё равно показывает неверное число спикеров, это ожидаемо: очистка создаётся ИИ и не всегда получается идеально. Исправьте имена в заметках или резюме, затем снова запустите Очистить расшифровку, чтобы заново сгенерировать свежую копию на основе обновлённого контекста.

При очистке ИИ Hedy:

• Исправляет орфографию, пунктуацию и грамматику, не меняя сказанного

• Добавляет метки спикеров: сначала используются имена, подтверждённые вами на метках спикеров, затем настоящие имена участников, если резюме или заметки сессии их называют, а если нет, то «Спикер 1», «Спикер 2» и т. д.

• Улучшает общую читаемость с помощью разбивки на абзацы и более ясных формулировок и убирает случайные маркеры вроде [Music] или >>

• Применяет ваш пользовательский словарь, чтобы названия компаний, термины продуктов и технический жаргон писались правильно

• При желании переводит очищенный транскрипт на другой язык на том же шаге: выберите целевой язык в диалоге очистки или оставьте «Сохранить исходный язык»

Когда у сессии есть очищенная версия, переключатель в окне транскрипта (значок с искрой) переключает между Оригинал и Очищенная версия. Когда открыта очищенная версия, показывается баннер «Просмотр очищенной стенограммы».

Очистка транскрипта использует облачную модель ИИ и выполняется на устройстве, которое захватило сессию. Нельзя запустить очистку для сессии, синхронизированной с другого устройства или предоставленной вам: очистить транскрипт может только исходный владелец на исходном устройстве.

Чтобы отредактировать текст транскрипта вручную, вернитесь к просмотру оригинала. Редактирование доступно только для исходного транскрипта, чтобы ваш дословный первоисточник оставался нетронутым. После правок можно снова запустить очистку и заново создать свежую обработанную копию с учётом ваших исправлений.

Язык и точность

Мы стремимся улучшать транскрипцию на разных языках. Сейчас наиболее отточенный опыт доступен для английского, но мы постоянно расширяем и совершенствуем возможности локальной обработки. По мере роста мощности процессоров телефонов наша транскрипция будет становиться всё совершеннее.

Как улучшить качество транскрипта

Hedy старается как можно точнее зафиксировать ваши разговоры, но и вы можете помочь:

• Говорите чётко и в умеренном темпе

• Сведите фоновый шум к минимуму

• Расположите устройство оптимальным образом

Если транскрипты по-прежнему получаются искажёнными или неполными, см. статью о том, как исправить низкое качество транскрипции. Если в завершённой сессии слишком много спикеров, это задача для очистки, а не проблема захвата: см. раздел Очистка транскрипта выше.

Фоновый шум, несколько перекрывающихся спикеров и сложная звуковая обстановка могут создавать трудности даже для самых совершенных систем распознавания речи.

Доступ к транскриптам и работа с ними

Hedy делает ваши транскрипты легкодоступными:

• Просмотр в реальном времени во время сессий

• Просмотр прошедших сессий

• Отправка или экспорт для дальнейшего анализа

• Интеграция с ИИ-аналитикой и основными моментами

Будущее локальной транскрипции

Мы только начинаем. В наших планах:

• Расширение поддержки языков

• Улучшение алгоритмов обработки

• Повышение точности в реальном времени

• Снижение вычислительной нагрузки