Локальный ИИ для встреч: Hedy теперь может работать целиком на вашем устройстве

С Hedy 3.2 весь наш ИИ-процесс теперь может работать на вашем собственном компьютере. Когда вы его включаете, транскрипты встреч, резюме, подробные заметки, ответы в чате и подсказки в реальном времени создаются на том устройстве, которое захватило звук. Ничего из ваших разговоров не уходит на сервер. Вот что меняется, когда ваш ИИ для встреч работает именно так.

Распознавание речи выполняется на вашем устройстве с самого запуска Hedy. Аудиозаписи тоже всегда оставались на устройстве. Ваши разговоры никогда не использовались для обучения моделей ИИ. С самого начала мы осознанно относились к конфиденциальности.

Но одну часть мы раньше не могли перенести на устройство: саму работу ИИ. Ту, что читает ваш транскрипт, пишет резюме, ведёт подробные заметки, отвечает на ваши вопросы о встрече и подсказывает во время разговора. Эту работу приходилось выполнять на серверах, потому что модели, способные делать её хорошо, были слишком велики для ноутбука или телефона.

Это быстро меняется. Устройства становятся мощнее. Сами модели ИИ при этом становятся компактнее и умнее. Несколько месяцев назад эти две тенденции для нас пересеклись. Модели, которые помещаются на ноутбук или недавний iPhone, теперь достаточно сильны, чтобы справляться с анализом Hedy на уровне качества, пригодном для настоящих встреч.

Иллюстрация: кривые показывают общее направление, а не конкретные измерения.

Поэтому с Hedy 3.2 вы можете включить Локальную обработку ИИ и выполнять весь наш ИИ-процесс на собственном устройстве. Резюме, заметки, ответы в чате, подсказки. Всё это происходит на вашем компьютере.

Почему важен ИИ на устройстве

Большую часть последних лет ИИ был чем-то, что от вашего имени запускает горстка крупных компаний. Вы отправляете данные на их серверы, их модели обрабатывают их, и результат возвращается к вам. У такой схемы очевидные преимущества, и на ней держится почти всё, что мы смогли построить. Но у неё есть и структурная цена: самому полезному ИИ нужно больше всего личных данных, а эти данные оказываются не там, где были созданы.

Локальный ИИ меняет эту схему на противоположную. Ваш разговор остаётся там, где он состоялся. Работа выполняется на том же устройстве, которое захватило звук. Ничего о встрече не попадает на сервер, пока вы не включите Облачную синхронизацию или явно не поделитесь сессией, и даже тогда ИИ-обработка остаётся локальной.

Если держать Облачную синхронизацию выключенной, ничто из вашего разговора не попадёт на наши серверы, пока вы явно не поделитесь этой сессией.

Кому нужен приватный ИИ для встреч на устройстве

Одни пользователи Hedy включат это и забудут об этом. Другие годами ждали чего-то подобного. Вот кому, по нашему мнению, это нужнее всего.

• Коучи и консультанты, чьи разговоры с клиентами предполагают строгую конфиденциальность. Они пользовались Hedy для подготовки и внутренних звонков. Теперь они могут пользоваться им и в работе с клиентами, не выпуская ничего за пределы ноутбука.
• Юристы, которые используют Hedy для внутренних звонков, но никогда для разговоров с клиентами. У адвокатской тайны особая форма, и «обещаем осторожно обращаться с вашими данными» ей не подходит. Данные, которые никуда не уходят, подходят.
• Пациенты перед приёмами у врача, которые хотят получить чёткое резюме того, что сказал врач, но не хотят, чтобы их разговор о здоровье лежал на чужом сервере. С Локальным ИИ резюме может создаваться на том же телефоне, который захватил разговор.
• Журналисты, работающие над деликатными материалами и вообще избегающие облачных инструментов. Они могут захватить интервью, получить транскрипт и общаться в чате со встречей, и ничего при этом не попадёт на сервер.
• Все, кто живёт за пределами США и не хочет, чтобы их разговоры лежали на американских серверах. Размещение данных в ЕС мы добавили ранее в этом году. Локальный ИИ идёт на шаг дальше: данные вообще не хранятся на серверах какой-либо компании.
• Удалённые сотрудники с плохим Wi-Fi в самолёте или в местах без покрытия. Hedy теперь работает полностью офлайн. Откройте ноутбук в полёте, проведите настоящий разговор и получите резюме до посадки.
• Те, кто просто бережно относится к своим данным и не имеет ни регулируемой профессии, ни конкретной модели угроз. Им просто больше нравилась мысль, что то, что слушает их встречи, не отправляет звук никуда. Раньше у них такой возможности не было. Теперь есть.

Всех этих людей объединяет то, что Hedy уже была им полезна по замыслу, но модель данных не подходила под их ограничения. Локальный ИИ эти ограничения снимает.

Если вы выбираете конспектор для встреч вообще, а не читаете о нашем, у нас есть отдельное руководство о том, как приватно пользоваться ИИ-заметками о встречах: в нём разобрано, что покидает ваше устройство на каждом этапе и как проверить заявления любого поставщика.

Честная версия

Мы хотим ясно сказать, что это такое и чем не является, потому что лучше, чтобы вы начали с реалистичными ожиданиями, чем потом разочаровались.

Локальная обработка ИИ необязательна и по умолчанию выключена. Облачный ИИ по-прежнему быстрее, по-прежнему даёт лучший результат и работает на всех платформах, которые поддерживает Hedy. Если у вас нет особой причины хотеть обработку на устройстве, сейчас облачный вариант работает лучше.

Резюме, которое в облаке появляется мгновенно, локально может занять от 30 секунд до нескольких минут в зависимости от вашего оборудования и выбранной модели. Небольшие модели хороши для коротких резюме, но спотыкаются на длинных или тонких разговорах. Крупные модели приближаются к облачному качеству, но для хорошей работы им нужно действительно мощное оборудование. И мы не переключаемся молча на облако, если что-то идёт не так локально. Вы выбрали локальный режим не просто так, и тихая повторная попытка через наши серверы предала бы это намерение. Вы увидите ошибку.

Локальный ИИ поддерживается на Mac на Apple Silicon, ПК с Windows с мощной видеокартой, iPhone 15 Pro и новее, а также на iPad с чипами M-серии или A17 Pro. Android и веб в планах, но пока не готовы. Из-за разнообразия оборудования Android и ограничений запуска моделей внутри браузера сегодня сложно обеспечить единообразную работу.

Вы выбираете модель под своё оборудование. Мы предлагаем три уровня качества: от компактных моделей, которые помещаются на телефон, через модели среднего уровня, хорошо работающие на большинстве современных ноутбуков, до крупных моделей, которые на мощном оборудовании приближаются к облачному качеству. Окно выбора модели показывает, что поместится, ещё до загрузки.

Куда всё движется

Локальный ИИ в Hedy 3.2 — это начало, а не готовый продукт. Модели будут становиться лучше. Потребительское оборудование будет становиться мощнее. Разрыв между локальным и облачным качеством будет сокращаться. Мы будем расширять поддержку на другие платформы по мере того, как это позволят технологии.

Это часть более широкого сдвига, который стоит признать. Годами самые большие успехи ИИ шли от компаний, запускающих всё более крупные модели на всё более крупных серверных фермах. Параллельно идёт менее заметный сдвиг: модели с открытыми весами каждые несколько месяцев становятся умнее и компактнее. Оборудование для их запуска есть в карманах и на столах у большинства людей. Разрыв в возможностях между облачным и локальным ИИ для встреч быстро сокращается.

Общая картина важнее любого отдельного релиза. Мы считаем, что ближайшие годы ИИ определит переход от мира, где горстка компаний запускает ИИ от вашего имени, к миру, где вы можете запускать собственный процесс на собственном устройстве, со своими данными, от начала до конца. Воспользуетесь ли вы этим или нет, сама возможность выбора придаёт технологии правильную форму. Она сохраняет баланс сил.

Hedy создаётся так, чтобы быть в авангарде этого сдвига. Локальный ИИ — первый конкретный шаг. Будут и другие.

Чтобы включить его, обновитесь до Hedy 3.2 и откройте в Настройках раздел «Речь и ИИ». Переключатель называется «Локальная обработка ИИ». Выберите модель, подходящую для вашего оборудования, и всё готово.

Технические подробности — какие модели мы выбрали, как они размещаются на Mac, Windows и iPhone и во что обходится локальный вывод по задержке — смотрите в нашем техническом разборе Локального ИИ.

Если попробуете, будем рады узнать, что вы думаете.