Локальная обработка ИИ

Локальная обработка ИИ выполняет ИИ-анализ Hedy целиком на вашем устройстве. Ваши транскрипты остаются на устройстве, а работает она даже без интернета.

Она доступна на macOS (Apple Silicon), Windows (с GPU, поддерживающим Vulkan), iPhone 15 Pro и новее, iPad с чипом M-серии или A17 Pro и на поддерживаемых телефонах Android. Если выбран Локальный ИИ, те части Hedy, которые читают ваш транскрипт и создают текст (резюме, подробные заметки, быстрые подсказки, ответы в чате, подсказки во время сессии и обратная связь), работают локально, а не на серверах Hedy.

Локальная обработка ИИ включается по желанию. По умолчанию в разделе Обработка ИИ выбран Облачный ИИ, и большинству людей менять это не нужно: облачный ИИ по-прежнему быстрее и на шаг впереди по качеству. Локальная обработка ИИ предназначена для тех, чьи требования к конфиденциальности облачная схема выполнить не может, и для тех, кому нужно, чтобы Hedy работала полностью офлайн.

Что делает локальная обработка ИИ

• Обеспечивает резюме сессий, подробные заметки, быстрые подсказки, ответы в чате, подсказки во время сессии и обратную связь, и всё это на вашем устройстве.

• Хранит ваши транскрипты на устройстве. Данные разговоров не покидают устройство для ИИ-анализа.

• Работает офлайн после загрузки модели.

• Сосуществует с облачным распознаванием речи (Deepgram, OpenAI), если вы им пользуетесь. Локальным остаётся только этап ИИ-анализа.

• Не переключается на облако втихую. Если что-то идёт не так локально, вы увидите ошибку, а не незаметную повторную попытку на наших серверах: вы выбрали локальный режим не просто так.

Требования

Mac с Apple Silicon (M1 или новее). В Apple Silicon процессор и графический процессор делят один пул памяти, поэтому модель должна поместиться в общую оперативную память системы вместе со всем остальным, что у вас запущено. Самые маленькие модели работают на большинстве современных Mac. Модели среднего уровня (около 9 миллиардов параметров) уверенно работают на системах с 16 ГБ. Самым большим моделям для загрузки может требоваться около 25 ГБ ОЗУ, поэтому для них реалистично 36 ГБ и больше.

ПК с Windows с актуальным драйвером Vulkan. Здесь важнее всего видеопамять (VRAM) вашего GPU, а не системная оперативная память. Для больших моделей нужна видеокарта с достаточным объёмом VRAM. Если модель немного не помещается в вашу карту, Hedy переносит часть слоёв на процессор. Это работает, но заметно медленнее, и в списке моделей такие пункты помечены суффиксом «+ Медленно».

iPhone 15 Pro и новее, а также iPad с чипом M-серии или A17 Pro. Из-за ограничений памяти на телефонах и планшетах доступны только самые маленькие модели. Компактные модели хорошо справляются с короткими резюме, но их ответы заметно скуднее, чем у более крупной модели на Mac.

Телефоны Android с поддерживаемым GPU и примерно 8 ГБ памяти или больше. Как и на iPhone и iPad, на Android доступны только самые маленькие модели. Два момента, которые стоит знать, прежде чем на это рассчитывать: телефоны с графикой Imagination PowerVR не поддерживаются, потому что их графический драйвер даёт сбой, который выводит из строя весь GPU; и резервного режима на процессоре нет, поэтому телефон без пригодного GPU не запустит локальный ИИ вовсе, а не просто будет работать медленнее. Hedy проверит ваше устройство и подскажет, какие модели подходят.

На устройствах, которые не могут запускать ИИ на устройстве, Локальный ИИ не предлагается в Настройки → Речь и ИИ → Обработка ИИ, если он уже не выбран. В этом разделе показано: «Локальный ИИ пока не поддерживается на этом устройстве. Мы работаем над тем, чтобы сделать ИИ на устройстве доступным для большего числа устройств.» В веб-приложении предлагаются Облачный ИИ и Отключено.

Веб-приложение есть в нашей дорожной карте, но пока не поддерживается. Из-за ограничений запуска моделей внутри браузера сегодня трудно обеспечить стабильный результат.

Вам также понадобится свободная память, соответствующая выбранной модели (для каждой Hedy показывает индикатор соответствия), и первоначальная загрузка модели. Размер модели составляет от примерно 1,2 ГБ на телефонах до более 20 ГБ на настольных компьютерах, в зависимости от выбранной модели.

Как включить локальную обработку ИИ

1. Откройте Hedy и перейдите в Настройки → Речь и ИИ → Обработка ИИ.

2. Выберите Локальный ИИ в раскрывающемся списке Обработка ИИ. На Android подтвердите уведомление об экспериментальной функции.

3. Выберите в списке прямо под раскрывающимся списком модель, которая подходит по памяти вашему устройству. Ищите пометку «Отлично подходит».

4. Дождитесь окончания загрузки модели. Вы увидите ход загрузки и размер в ГБ.

5. После загрузки локальная обработка ИИ активна. Начинайте сессию как обычно.

Локальная обработка ИИ настраивается для каждого устройства отдельно. Чтобы использовать её на Mac и iPhone, выберите Локальный ИИ в Обработка ИИ и загрузите модель на каждом из них: настройка и файлы моделей между устройствами не переносятся.

Выбор модели

В списке моделей рядом с каждой показан рейтинг в звёздах в зависимости от её размера:

• ★ (1 звезда) — подходит для простых резюме встреч и коротких заметок. Может не справляться с длинными встречами и тонкими уточняющими вопросами. Диапазон параметров: 2–5 миллиардов.

• ★★ (2 звезды) — надёжная универсальная модель. Хорошо справляется с резюме встреч, подробными заметками и чатом. С очень длинными или сильно технически насыщенными разговорами может быть сложнее. Диапазон параметров: 7–12 миллиардов.

• ★★★ (3 звезды) — по качеству близка к нашему облачному ИИ. Надёжно справляется с длинными встречами, большими темами, сложными заметками и непростыми уточняющими вопросами. Диапазон параметров: более 12 миллиардов.

Hedy автоматически проверяет доступную на вашем устройстве память и помечает каждую модель:

• Отлично подходит — рекомендуется. Памяти с большим запасом.

• Подходит впритык — работает, но может быть медленно или нестабильно, если запущено много других приложений.

• Не поместится — не выбирайте эту модель.

На Windows модели, которым нужно перенести слои на процессор, показаны с суффиксом «+ Медленно», чтобы вы понимали, что выбираете.

Если не уверены, начните с самой большой модели, для которой на вашем устройстве показано «Отлично подходит». Позже можно переключиться. После загрузки модели хранятся в хранилище приложения, и любую можно в любой момент удалить на том же экране, чтобы освободить место на диске.

Переключение между локальным и облачным ИИ

• Выберите Облачный ИИ в Настройки → Речь и ИИ → Обработка ИИ, чтобы вернуться к облачному анализу.

• На поддерживаемых iPhone и iPad можно также выбрать Apple Private Cloud Compute, который работает на серверах Apple, а не на вашем устройстве. См. Обработка ИИ.

• При переключении вы не теряете сессии. В существующих сессиях сохраняются текущие заметки и резюме.

Конфиденциальность

Когда в Обработка ИИ выбран Локальный ИИ, ваши транскрипты и созданный ИИ контент (резюме, заметки, ответы в чате, подсказки, обратная связь) не покидают устройство для ИИ-анализа. Модели загружаются с серверов Hedy, но не содержат никаких ваших данных.

Что попадает на наши серверы, зависит от того, включена ли ещё и облачная синхронизация:

• Выбран локальный ИИ, облачная синхронизация выключена. Ничего о ваших встречах не попадает на наши серверы, если вы явно не поделитесь сессией. Аудиозаписи, транскрипты, резюме, заметки, ответы в чате и подсказки остаются на устройстве, где запущено приложение. Сохранённое аудио может также покинуть устройство Apple, если вы включите Синхронизировать записи с iCloud: тогда оно копируется в ваш собственный аккаунт iCloud. Самостоятельные сессии на Apple Watch передают свой звук на спаренный iPhone для импорта, даже если облачная синхронизация и синхронизация звука через iCloud выключены.

• Выбран локальный ИИ, облачная синхронизация включена. ИИ-обработка по-прежнему полностью выполняется на вашем устройстве: транскрипт и созданный текст никогда не отправляются на обработку. Данные ваших сессий по-прежнему синхронизируются (в зашифрованном виде) с серверами Hedy, чтобы вы могли получать к ним доступ с разных устройств, как всегда при облачной синхронизации.

В обоих случаях информация об аккаунте, данные об использовании и отчёты о сбоях по-прежнему проходят через наши серверы, чтобы приложение могло работать. Ни в одном из них нет содержимого транскриптов или результатов ИИ.

Для самой строгой настройки сочетайте локальную обработку ИИ с выключенной облачной синхронизацией и оставьте выключенным также пункт «Синхронизировать записи с iCloud». Фиксируйте разговор напрямую в приложении на телефоне, планшете или компьютере, если он должен оставаться на устройстве, которое его фиксирует. Общий доступ загружает эту сессию, а публичная ссылка выкладывает выбранные вами части на страницу, которую может открыть любой, у кого есть адрес. Аудио никогда не входит в общий доступ.

Распознавание речи — отдельный этап. Если для транскрипции вы используете облачного провайдера вроде Deepgram или OpenAI, ваше аудио по-прежнему проходит через этого провайдера. Чтобы оба этапа остались локальными, сочетайте локальную обработку ИИ с распознаванием речи на устройстве, например Whisper или Nemotron. См. наше руководство Провайдеры распознавания речи.

Практические советы

• Выключайте автоматические подсказки для долгих локальных сессий. Они на протяжении всей сессии сильно нагружают локальную модель и могут замедлять всё остальное на вашем устройстве (а также сильно его нагревать). Hedy предупреждает об этом, когда вы впервые выбираете Локальный ИИ.

• Подключайте ноутбук или телефон к питанию для долгих сессий. Непрерывная работа модели на устройстве разряжает батарею быстрее, чем вы ожидаете.

• Выбирайте модель, которая с запасом подходит вашему оборудованию (ОЗУ на Mac и iOS, VRAM на Windows). Вариант «Подходит впритык» работает, но оставляет меньше запаса для всего остального, чем вы заняты.

Устранение неполадок

Ответы медленнее, чем в облаке

Это ожидаемо. Резюме, которое в облаке появляется мгновенно, локально может занять от 30 секунд до нескольких минут, в зависимости от вашего оборудования и выбранной модели. Большие модели медленнее, но способнее.

Модель не загружается

• Проверьте подключение к интернету и свободное место на диске.

• Перезапустите Hedy и повторите попытку.

• Некоторые модели занимают несколько ГБ. На медленных соединениях загрузка может идти долго.

• На Windows антивирусное ПО может прерывать загрузку больших файлов или помещать файлы моделей в карантин. Если так случилось, см. Антивирус Windows блокирует загрузку или установку Hedy.

Ответы очень медленные или приложение не отзывается

• Сравните требования модели к ОЗУ или VRAM с тем, что свободно на вашем устройстве. Модель с пометкой «Подходит впритык», конкурирующая с другими приложениями, может работать медленно.

• Закройте неиспользуемые приложения, потребляющие много памяти (лишние вкладки браузера, фоновые приложения).

• Попробуйте модель поменьше.

• На Windows проверьте, что драйвер GPU обновлён. Рекомендации по драйверам см. в статье Как исправить медленную транскрипцию на Windows (настройки GPU): те же советы подходят и для локального ИИ.

«Локальная модель ИИ не готова» при запуске сессии, импорте или объединении

Это значит, что в Обработка ИИ выбран Локальный ИИ, но ни одна модель ещё не загружена, поэтому у Hedy нет движка для создания результатов ИИ. Откройте Настройки → Речь и ИИ → Обработка ИИ, чтобы загрузить модель, или вернитесь к облачному ИИ, чтобы продолжить сразу. Теперь Hedy сообщает об этом до начала сессии, а не сбоит молча посередине.

«Локальный ИИ потерял доступ к вашей модели»

Hedy больше не может получить доступ к модели, которую вы добавили ранее. Обычно это происходит потому, что файл был перемещён или удалён за пределами приложения. Откройте Настройки → Речь и ИИ → Обработка ИИ, удалите эту модель и добавьте её снова.

Функции ИИ сообщают «недоступно»

• Убедитесь, что загрузка модели завершилась (проверьте список моделей в разделе «Обработка ИИ» в настройках). Модель, загрузка которой прервалась, больше не отображается как «Загружено»: в этом случае загрузите её заново.

• Переключите Обработка ИИ на другой вариант, а затем обратно на Локальный ИИ.

Обратная связь

Запуск ИИ целиком на вашем устройстве — новое направление, и пока всё на раннем этапе. Локальные модели меньше облачных, поэтому ответы могут быть менее точными или подробными, а на некоторых системах возможны нестабильность или медленный запуск. По мере развития локального ИИ эти компромиссы будут сглаживаться, а мы будем расширять поддержку на новые платформы, насколько это позволят технологии.

Отправляйте любые отзывы и сообщения о проблемах на support@hedy.bot.

См. также: Обработка ИИ: облачный ИИ, локальный ИИ или отключено, Провайдеры распознавания речи.