Fichiers et photos comme contexte dans Hedy, avec EmbeddingGemma 2
Hedy 3.15 utilise vos documents et photos dans le chat, les résumés et les suggestions en direct. Les originaux restent sur votre appareil, où EmbeddingGemma 2 les indexe.
Jusqu’ici, Hedy connaissait ce qu’il entendait et ce que vous saisissiez dans un contexte. Le reste était dans vos fichiers : la liste de prix que vous consultez, le descriptif envoyé par le client, la diapositive que tout le monde montrait du doigt. Avec Hedy 3.15, vous pouvez ajouter ces documents et photos, et Hedy les lit en même temps qu’il suit la conversation.
Ces fichiers contiennent souvent vos informations les plus sensibles : contrats, tarifs, CV et plans internes. Nous avons donc suivi le même principe que pour la reconnaissance vocale dans Hedy : le traitement se fait sur votre appareil. Hedy ne téléverse jamais le fichier lui-même. Il lit le texte et construit son index de recherche sur votre téléphone ou votre ordinateur. EmbeddingGemma 2 de Google s’y exécute aussi pour trouver les parties de vos fichiers en rapport avec ce qui se dit.
Ce que vous pouvez ajouter
Les fichiers appartiennent à un contexte. Ouvrez un contexte de session, appuyez sur Joindre des fichiers dans la section Fichiers, et chaque session qui utilise ce contexte pourra s’appuyer sur eux. Sur un ordinateur, vous pouvez aussi y faire glisser des fichiers. Hedy lit les fichiers PDF, Word, PowerPoint, Excel, CSV, texte et Markdown, ainsi que les images JPEG, PNG, HEIC et WebP.
Les photos appartiennent à une session. Sur téléphone, appuyez sur l’appareil photo dans le champ de chat vide pendant ou après une session, puis prenez une photo ou choisissez jusqu’à dix photos dans votre photothèque. Sur Mac et Windows, déposez une image sur une session ouverte ou collez-en une avec Cmd+V ou Ctrl+V. Quand quelqu’un remplit un tableau blanc ou distribue un ordre du jour imprimé, prenez-le en photo et Hedy en lira le texte.
Chaque photo dispose de sa propre carte, où vous pouvez consulter le texte lu par Hedy, réessayer si la lecture a échoué ou supprimer la photo.
Comment Hedy les utilise
Hedy traite vos fichiers comme du contenu de référence et n’utilise que ce qui est utile sur le moment :
- Dans le chat, demandez « quel est notre tarif pour l’abonnement annuel ? » : Hedy répond à partir de votre liste de prix au lieu de deviner.
- Dans les résumés et les notes détaillées, les passages en rapport avec la conversation aident Hedy à restituer correctement les noms, les chiffres et les détails des produits.
- Pendant une session en direct, les suggestions automatiques peuvent utiliser les faits de vos fichiers et le texte des photos que vous ajoutez. Une suggestion peut ainsi citer le chiffre exact de votre descriptif plutôt que donner un conseil général.
Hedy indique aussi à l’IA de ne pas suivre les instructions écrites dans vos fichiers.
Vos fichiers restent sur votre appareil
Vos fichiers et photos d’origine ne quittent jamais l’appareil depuis lequel vous les avez ajoutés. Hedy les lit sur cet appareil, utilise sa reconnaissance de texte pour les photos et les pages numérisées, et y construit l’index de recherche. Cette étape ne nécessite aucun serveur.
Vous choisissez ce qu’il advient du texte ensuite :
- Si Cloud Sync est activé, le texte lu par Hedy, le nom et le type du fichier ainsi que les données de recherche sont stockés dans la région de données de votre compte pour que vos autres appareils puissent les utiliser. L’application web affiche ce texte en lecture seule. Si Cloud Sync est désactivé, ces éléments restent sur l’appareil.
- Avec l’analyse IA dans le cloud, Hedy envoie une sélection du texte de vos fichiers et photos, ainsi que les noms des fichiers, à nos fournisseurs d’IA avec la transcription et dans les mêmes conditions. Les fichiers courts peuvent être envoyés en entier.
- Avec le traitement IA local, l’analyse s’effectue sur votre appareil et aucun texte des fichiers n’est envoyé à nos fournisseurs d’IA.
Activez le traitement IA local et désactivez Cloud Sync : vos fichiers, le texte que Hedy en lit et l’index restent tous sur votre téléphone ou votre ordinateur. Hedy continue de les utiliser dans le chat, les résumés, les notes et les suggestions en direct.
Retirer un fichier ou une photo, ou supprimer son contexte ou sa session, supprime le texte et les données de recherche sur cet appareil et, si Cloud Sync est activé, dans le cloud et sur vos autres appareils lors de leur synchronisation. Dans l’application web, le texte déjà chargé par Hedy reste dans votre navigateur jusqu’à ce que vous vous déconnectiez. Votre fichier d’origine, conservé ailleurs sur votre ordinateur ou votre téléphone, n’est pas modifié. La Vue d’ensemble de la confidentialité des données explique comment Hedy traite vos données en général.
Avec EmbeddingGemma 2
Google DeepMind a publié EmbeddingGemma 2 le 6 octobre. Ce modèle ouvert est conçu pour fonctionner sur les téléphones et les ordinateurs portables. C’est un modèle d’embeddings : il saisit le sujet d’un passage de texte, ce qui permet de rapprocher deux passages qui parlent de la même chose, même s’ils n’ont aucun mot en commun. Google indique qu’il comprend plus de 100 langues (fiche du modèle), et nos utilisateurs tiennent des réunions dans des dizaines d’entre elles.
En réunion, les gens s’expriment rarement comme les documents sont rédigés. Un client demande « que se passe-t-il si nous dépassons notre nombre de sièges ? », et la réponse se trouve dans une section du contrat intitulée « Tarification des dépassements ». Une recherche par mots-clés passe à côté, tandis qu’EmbeddingGemma 2 fait le lien entre les deux. Hedy recherche toujours aussi les correspondances de mots exacts, ce qui permet de retrouver un code produit ou le nom d’une personne.
Sa petite taille permet de garder ce traitement sur votre appareil. Il fonctionne sur le téléphone dans votre poche : la recherche du bon passage s’y effectue, au lieu de passer par un serveur.
Télécharger EmbeddingGemma 2
Par défaut, Hedy trouve les passages qui utilisent les mêmes mots que la conversation. Pour qu’il trouve aussi des passages en rapport avec la discussion quand les mots sont différents, téléchargez EmbeddingGemma 2 :
- Ouvrez Paramètres → Discours et IA.
- Dans la section Traitement par IA, appuyez sur Télécharger (310 MB).
Vous pouvez aussi lancer le téléchargement depuis la section Fichiers d’un contexte contenant des fichiers. Le téléchargement ne commence que lorsque vous appuyez sur Télécharger (310 MB), en Wi-Fi ou en Ethernet sans limite de données, et chaque appareil a besoin de sa propre copie. Supprimer efface le modèle et ses données de recherche de cet appareil. Vos fichiers restent, et Hedy reprend la recherche de correspondances de mots exacts.
Les appareils compatibles
EmbeddingGemma 2 fonctionne sur les Mac avec Apple Silicon, les PC Windows, les iPhone, les iPad et les appareils Android 64 bits. Le chat, les résumés et les notes détaillées l’utilisent sur tous ces appareils.
Rechercher dans vos fichiers pendant une réunion en direct demande plus de ressources, car le modèle doit suivre le rythme alors que la reconnaissance vocale et les suggestions en direct fonctionnent aussi. Cela fonctionne sur les Mac avec Apple Silicon, les iPhone 15 Pro ou plus récents et les iPad équipés d’une puce M-series ou A17 Pro. Sur les autres appareils, les suggestions en direct utilisent vos fichiers lorsqu’ils sont assez courts pour être inclus en entier. L’article d’aide donne les détails.
Comment en profiter
L’utilisation des fichiers et photos comme contexte fait partie de Hedy Pro, et les membres de Hedy Team disposant d’un siège actif y ont aussi accès. Mettez à jour Hedy vers la version 3.15 sur Mac, Windows, iPhone, iPad ou Android, ouvrez un contexte et joignez votre premier fichier. Enregistrez d’abord les anciens fichiers .doc, .xls et .ppt au format .docx, .xlsx ou .pptx, ou exportez-les en PDF. Hedy ne peut pas lire les fichiers protégés par un mot de passe.
FAQ
Que puis-je ajouter comme contexte dans Hedy ?
Des documents et des photos. Joignez des fichiers PDF, Word, PowerPoint, Excel, CSV, texte ou Markdown et des images JPEG, PNG, HEIC ou WebP à un contexte de session, et chaque session qui utilise ce contexte pourra s’appuyer sur eux. Vous pouvez aussi ajouter des photos à une session pendant son déroulement ou après sa fin, par exemple un tableau blanc, une diapositive ou un document distribué.
Mes fichiers sont-ils téléversés ?
Non. Le fichier ou la photo lui-même reste sur l’appareil depuis lequel vous l’avez ajouté, et Hedy le lit et l’indexe sur cet appareil. Si Cloud Sync est activé, le texte lu par Hedy est stocké dans la région de données de votre compte pour que vos autres appareils puissent l’utiliser. Avec l’analyse IA dans le cloud, Hedy envoie une sélection du texte de vos fichiers et photos, ainsi que les noms des fichiers, à nos fournisseurs d’IA avec la transcription. Les fichiers courts peuvent être envoyés en entier.
Puis-je garder mes fichiers entièrement sur mon appareil ?
Oui. Activez le traitement IA local et désactivez Cloud Sync : le texte que Hedy lit dans vos fichiers reste sur votre appareil, tout comme les fichiers eux-mêmes. Hedy continue d’utiliser ce texte dans le chat, les résumés, les notes détaillées et les suggestions en direct.
Que fait Hedy avec mes fichiers ?
Hedy lit leur texte sur votre appareil et sélectionne les passages utiles à ce que vous faites. Il utilise ces passages pour répondre à vos questions dans le chat, rédiger votre résumé et vos notes détaillées, et vous suggérer quoi dire pendant une session.
Qu’est-ce qu’EmbeddingGemma 2 ?
EmbeddingGemma 2 est un modèle d’embeddings ouvert de Google DeepMind, publié le 6 octobre 2026 et conçu pour fonctionner sur les téléphones et les ordinateurs portables. Il saisit le sujet d’un passage de texte, ce qui permet de rapprocher des passages qui parlent de la même chose, même avec des mots différents. Hedy l’exécute sur votre appareil pour trouver les parties de vos fichiers en rapport avec la conversation.
Dois-je télécharger EmbeddingGemma 2 ?
Non. Sans lui, Hedy trouve les passages qui utilisent les mêmes mots que la conversation. EmbeddingGemma 2 est un téléchargement facultatif d’environ 310 Mo qui permet aussi de trouver des passages en rapport avec la discussion quand les mots sont différents. Téléchargez-le dans Paramètres → Discours et IA. Le téléchargement ne commence que lorsque vous appuyez sur Télécharger (310 MB), en Wi-Fi ou en Ethernet sans limite de données, et chaque appareil a besoin de sa propre copie.
Hedy peut-il comprendre les graphiques ou les schémas de mes photos ?
Pas encore. Hedy lit le texte d’une photo ou d’une page numérisée avec la reconnaissance de texte de votre appareil. Il n’interprète pas le dessin lui-même : un tableau blanc avec une écriture lisible fonctionne donc mieux qu’un graphique comportant peu de légendes.
Quels appareils prennent cette fonction en charge ?
L’ajout de fichiers et de photos fonctionne dans Hedy sur Mac, Windows, iPhone, iPad et Android. EmbeddingGemma 2 fonctionne sur les Mac avec Apple Silicon, les PC Windows, les iPhone, les iPad et les appareils Android 64 bits. Pendant une session en direct, elle fonctionne sur les Mac avec Apple Silicon, les iPhone 15 Pro ou plus récents et les iPad équipés d’une puce M-series ou A17 Pro. L’application web affiche le texte ajouté par vos autres appareils, mais ne permet pas d’ajouter des fichiers.
Est-ce inclus dans l’offre gratuite ?
Non. L’ajout de fichiers et de photos fait partie de Hedy Pro, et les membres de Hedy Team disposant d’un siège actif peuvent aussi l’utiliser.
Pour aller plus loin
About the author
Julian Pscheid is the founder and CEO of Hedy AI, a real-time AI meeting coach used by tens of thousands of professionals worldwide. He writes about how AI is changing the way people prepare for, capture, and understand important conversations.
