EmbeddingGemma 2が支える、Hedyのコンテキストとしてのファイルと写真
Hedy 3.15は、ドキュメントと写真をチャット、要約、ライブ提案で活用します。元のファイルはデバイスの外に出ず、EmbeddingGemma 2がその場でインデックスを作成します。
これまでのHedyは、聞き取った内容と、コンテキストに入力された内容しか知りませんでした。それ以外のものは、すべてファイルの中にありました。引用する価格表、クライアントから届いた概要書、みんなが指さしていたスライドです。Hedy 3.15では、こうしたドキュメントや写真を追加でき、Hedyは会話と並べて読み取ります。
こうしたファイルは、契約書、価格、履歴書、社内の計画など、持っているなかで最も機微なものであることが多いです。そこで、Hedyの音声認識と同じ方針で、処理をお使いのデバイス上で行うように作りました。Hedyはファイルそのものをアップロードしません。テキストの読み取りと検索インデックスの作成はスマートフォンやコンピューター上で行い、GoogleのEmbeddingGemma 2もそこで動作して、話されている内容に合うファイルの該当箇所を見つけます。
追加できるもの
ファイルはコンテキストに追加します。セッションコンテキストを開き、ファイルセクションのファイルを添付をタップすると、そのコンテキストを使うすべてのセッションで活用できます。コンピューターでは、ファイルをドラッグして追加することもできます。HedyはPDF、Word、PowerPoint、Excel、CSV、テキスト、Markdownファイルと、JPEG、PNG、HEIC、WebPの画像を読み取ります。
写真はセッションに追加します。スマートフォンでは、セッション中またはセッション後に、空のチャットボックスにあるカメラをタップして、写真を撮るか、ライブラリから最大10枚を選びます。MacとWindowsでは、開いているセッションに画像をドロップするか、Cmd+VまたはCtrl+Vで貼り付けます。誰かがホワイトボードを文字で埋めたり、印刷した議題を配ったりしたら、写真を撮ればHedyがそこに書かれた文字を読み取ります。
写真ごとに専用のカードがあり、Hedyが読み取ったテキストの確認、読み取りに失敗した場合の再試行、写真の削除ができます。
Hedyはどう使うか
Hedyはファイルを参考資料として扱い、その時点で重要なものだけを取り込みます。
- チャットで「年間プランの価格はいくらですか？」と尋ねると、Hedyは推測せず、あなたの価格表から答えます。
- 要約や詳細なメモでは、会話に合う箇所が、名前、数字、製品の詳細を正確にするのに役立ちます。
- ライブセッション中は、自動提案がファイルの事実や追加した写真のテキストを使えるため、一般的なヒントではなく、概要書にある実際の数字を引用した提案ができます。
また、ファイルの中に書かれた指示には従わないよう、AIにも伝えています。
ファイルはデバイスの中にとどまります
元のファイルや写真は、追加したデバイスの外に出ることはありません。Hedyはそこで、写真やスキャンしたページにはデバイス自身のテキスト認識を使って読み取り、検索インデックスもそこで作成します。この工程にサーバーは必要ありません。
その後のテキストの扱いは、あなたが決められます。
- クラウド同期がオンの場合、Hedyが読み取ったテキスト、ファイル名と種類、検索データは、他のデバイスで使えるよう、アカウントのデータリージョンに保存されます。ウェブアプリでは、そのテキストが読み取り専用で表示されます。クラウド同期がオフなら、デバイスの中にとどまります。
- クラウドAI分析では、Hedyはファイルや写真から選ばれたテキストとファイル名を、文字起こしとともに、同じ条件でAIプロバイダーへ送信します。短いファイルは全文が送られることがあります。
- ローカルAIを使うと、分析はデバイス上で実行され、ファイルのテキストがAIプロバイダーに送られることはありません。
ローカルAIをオンにしてクラウド同期をオフにすると、ファイル、Hedyがそこから読み取ったテキスト、インデックスのすべてが、スマートフォンやコンピューターの中にとどまります。それでもHedyは、チャット、要約、ノート、ライブ提案でそれらを使います。
ファイルや写真を削除したり、そのコンテキストやセッションを削除したりすると、そのデバイス上のテキストと検索データが削除され、クラウド同期がオンの場合は、クラウドと、同期した他のデバイスからも削除されます。ウェブアプリでは、すでに読み込まれたテキストは、サインアウトするまでブラウザーに残ります。コンピューターやスマートフォンにある元のファイルには手を加えません。Hedyがデータ全般をどう扱うかは、データプライバシーの概要をご覧ください。
EmbeddingGemma 2が支える仕組み
Google DeepMindは10月6日、スマートフォンやノートパソコンで動作するよう作られたオープンモデルとして、EmbeddingGemma 2を公開しました。埋め込みモデルとは、文章が何について書かれているかを捉えるもので、共通する言葉がなくても、同じ内容の2つの文章が一致します。Googleは100を超える言語を理解できるとしており（モデルカード）、Hedyのユーザーは数十の言語で会議を行っています。
会議にこれが必要なのは、人がドキュメントに書かれているようには話さないからです。クライアントが「席数を超えたらどうなりますか？」と尋ね、その答えが契約書の「超過料金」という節にあるとします。キーワード検索ではこれを見逃しますが、EmbeddingGemma 2は両者を結びつけます。Hedyは完全一致する言葉の照合も引き続き行うので、製品コードや人名も見つかります。
小さなサイズだからこそ、これをデバイス上にとどめられます。ポケットの中のスマートフォンで動作するため、適切な箇所の検索はサーバーではなく、その場で行われます。
よりスマートなファイルコンテキストをオンにする
標準では、Hedyは短いファイルをそのまま使い、長いファイルでは会話と同じ言葉を使っている箇所を探します。言葉が違っていても、話題に合う箇所を見つけられるようにしたい場合は、EmbeddingGemma 2をダウンロードします。
- 設定 → 音声とAIを開きます。
- よりスマートなファイルコンテキストセクションで、ダウンロード (310 MB)をタップします。
ファイルがあるコンテキストのファイルセクションからも、ダウンロードを開始できます。ダウンロードは、ダウンロードをタップしたときだけ開始され、デバイスごとにコピーが必要です。スマートフォンでは、モバイルデータの使用を選ばない限り、Wi-Fiに接続されるまで待機します。削除を選ぶと、そのデバイスからモデルと検索データが削除されます。ファイルは残り、Hedyは完全一致する言葉の照合に戻ります。
動作するデバイス
EmbeddingGemma 2は、Apple Silicon Mac、Windows PC、iPhone、iPad、64ビットのAndroidデバイスで動作し、チャット、要約、詳細なメモは、そのすべてでこれを使います。
ライブの会議中にファイルを検索するのは、より大変です。音声認識やライブ提案も同時に動いているなかで、モデルが追いつかなければならないからです。これは、Apple Silicon Mac、iPhone 15 Pro以降、M-seriesまたはA17 ProチップのiPadで動作します。Hedy 3.15.1以降は、Windows PCやAndroidスマートフォンなどの他のデバイスも、ダウンロード後に短い速度チェックを実行し、合格すれば同じように動作します。そうでない場合、ライブ提案は、ファイルが全文を含められるほど短いときにそれを使います。詳細はヘルプ記事をご覧ください。
使ってみる
コンテキストとしてのファイルと写真は、Hedy Proの機能で、有効なシートを持つHedy Teamのメンバーも利用できます。Mac、Windows、iPhone、iPad、AndroidのHedyを3.15に更新し、コンテキストを開いて、最初のファイルを添付してください。古い.doc、.xls、.pptファイルは、先に.docx、.xlsx、.pptxで保存するか、PDFで書き出してください。Hedyはパスワードで保護されたファイルを読み取れません。
FAQ
Hedyのコンテキストとして何を追加できますか？
ドキュメントと写真です。PDF、Word、PowerPoint、Excel、CSV、テキスト、Markdownファイルと、JPEG、PNG、HEIC、WebPの画像をセッションコンテキストに添付すると、そのコンテキストを使うすべてのセッションで活用できます。ホワイトボード、スライド、配布資料など、セッションの実行中や終了後に写真を追加することもできます。
ファイルはアップロードされますか？
いいえ。ファイルや写真そのものは追加したデバイスに残り、Hedyはそこで読み取ってインデックスを作成します。クラウド同期がオンの場合、Hedyが読み取ったテキストは、他のデバイスで使えるようアカウントのデータリージョンに保存されます。クラウドAI分析では、Hedyはファイルや写真から選ばれたテキストとファイル名を、文字起こしとともにAIプロバイダーへ送信します。短いファイルは全文が送られることがあります。
ファイルを完全にデバイス上だけにとどめられますか？
はい。ローカルAIをオンにしてクラウド同期をオフにすると、Hedyがファイルから読み取ったテキストも、ファイル自体と同じくデバイスの中にとどまります。Hedyはそのテキストを、チャット、要約、詳細なメモ、ライブ提案で引き続き使います。
Hedyはファイルで何をしますか？
Hedyはデバイス上でファイル内のテキストを読み取り、あなたがしていることに関係する箇所を選び出します。チャットで質問に答えるとき、要約や詳細なメモを作成するとき、セッション中に発言を提案するときに、その箇所を使います。
EmbeddingGemma 2とは何ですか？
EmbeddingGemma 2は、Google DeepMindが2026年10月6日に公開した、スマートフォンやノートパソコンで動作するよう作られたオープンな埋め込みモデルです。文章が何について書かれているかを捉えるため、異なる言葉を使っていても、同じ内容の文章どうしが一致します。Hedyはこれをお使いのデバイス上で実行し、会話に合うファイルの該当箇所を見つけます。
EmbeddingGemma 2をダウンロードする必要はありますか？
いいえ。なくても、Hedyは短いファイルをそのまま使い、長いファイルでは会話と共通する言葉を含む箇所を探します。EmbeddingGemma 2は約310 MBの任意のダウンロードで、Hedyでは「よりスマートなファイルコンテキスト」と呼ばれ、言葉が違っていても、話題に合う箇所を見つけられるようになります。ダウンロードは設定 → 音声とAIから行います。ダウンロードをタップしたときだけ開始され、デバイスごとにコピーが必要です。スマートフォンでは、モバイルデータの使用を選ばない限り、Wi-Fiに接続されるまで待機します。
写真の中のグラフや図をHedyは理解できますか？
まだできません。Hedyは、お使いのデバイス自身のテキスト認識を使って、写真やスキャンしたページ内の文字を読み取ります。図そのものは解釈しないため、ラベルの少ないグラフより、はっきり書かれたホワイトボードのほうがうまく機能します。
どのデバイスに対応していますか？
ファイルと写真の追加は、Mac、Windows、iPhone、iPad、AndroidのHedyで使えます。EmbeddingGemma 2は、Apple Silicon Mac、Windows PC、iPhone、iPad、64ビットのAndroidデバイスで動作します。ライブセッション中は、Apple Silicon Mac、iPhone 15 Pro以降、M-seriesまたはA17 ProチップのiPadで動作し、Hedy 3.15.1以降は、ダウンロード後の短い速度チェックに合格した他のデバイスでも動作します。ウェブアプリでは、他のデバイスで追加されたテキストは表示されますが、ファイルは追加できません。
無料プランに含まれますか？
いいえ。ファイルと写真の追加はHedy Proの機能です。有効なシートを持つHedy Teamのメンバーも利用できます。
関連記事
About the author
Julian Pscheid is the founder and CEO of Hedy AI, a real-time AI meeting coach used by tens of thousands of professionals worldwide. He writes about how AI is changing the way people prepare for, capture, and understand important conversations.
