ファイルと写真をコンテキストとして使う

Hedyは、耳で聞いた内容だけでなく、ドキュメントや写真に含まれるテキストも扱えます。価格表や履歴書をコンテキストに添付したり、プロジェクトの概要書やホワイトボードの写真をセッションに追加したりすると、Hedyはそのテキストを使って、質問への回答、要約と詳細なメモの作成、次に話す内容の提案を行います。

ファイルと写真の追加は、Hedy Proの機能です。有効なシートを持つチームメンバーも利用できます。

コンテキストにファイルを追加する

コンテキストに添付したファイルは、そのコンテキストを使うすべてのセッションに入ります。価格表、履歴書、製品資料など、繰り返し使う資料はここに置くのが適しています。

設定を開き、パーソナライゼーションタブに移動します。
セッションAIのコンテキストと指示で、使いたいコンテキストを開くか、新しく作成します（カスタムコンテキストの管理をご覧ください）。
ファイルセクションでファイルを添付をタップし、1つまたは複数のファイルを選びます。パソコンでは、ファイルをコンテキストにドラッグすることもできます。

Hedyが読み取れるのは、PDF、Word（.docx）、PowerPoint（.pptx）、Excel（.xlsx）、CSV、テキスト、Markdownのファイルと、JPEG、PNG、HEIC、WebPの画像です。Pages、Numbers、Keynoteのファイルは、ファイル内に保存されたPDFプレビューを読み取ります。プレビューがない場合は、先にPDFとして書き出してください。古い形式の.doc、.xls、.pptは使えないため、.docx、.xlsx、.pdfとして保存し直してください。パスワードで保護されたファイルは読み取れません。

コンテキストのファイルはウェブアプリで確認できますが、追加と削除は、パソコンまたはスマートフォンのHedyアプリで行います。

ファイルを追加すると、Hedyはお使いのデバイス上でそれをインデックス化します。ファイルの横に進行状況が表示され、完了すると準備完了と表示されます。

セッションにファイルと写真を追加する

セッションに追加したファイルと写真は、その会議の内容だけに反映されます。アジェンダ、クライアントの概要書、ホワイトボードの写真などです。自分が所有するセッションには、実行中でも終了後でも追加できます。会議の前にファイルを用意しておくには、使う予定のコンテキストに添付してください。ファイルと写真は、セッションのノートタブの上部にあるファイルと写真カードにまとまっています。開くまでは折りたたまれています。

セッションを開き、ノートタブに移動します。
ファイルと写真をクリックして、カードを展開します。
ファイルまたは写真を追加をクリックします。パソコンではファイル選択画面が開きます。スマートフォンでは、写真を撮影、ライブラリから選択（一度に最大10枚の写真）、ファイルを選択のいずれかを選びます。

ノートに入力している最中にファイルを追加すると、Hedyはカーソルの位置に📎とファイル名の行を入れます。これにより、要約とチャットが、ノートのどの部分にそのファイルが対応するのかを把握できます。

セッションには、コンテキストと同じ種類のファイルを追加できます。MacとWindowsでは、セッションタブで開いているセッションにファイルや画像をドロップしたり、FinderやエクスプローラーでコピーしたファイルをノートエディタにCmd+VまたはCtrl+Vで貼り付けたりすることもできます。コピーしたウェブのリンクは、これまでどおりテキストとして貼り付けられます。

会議中は、空のチャット欄にあるカメラを使うほうが手早いことが多くあります。スマートフォンではそれをタップして、写真を撮影またはライブラリから選択を選びます。入力を始めると、送信ボタンに切り替わります。MacとWindowsでは画像選択画面が開き、チャット入力欄に画像を貼り付けることもできます。チャットから追加した写真も同じカードに入り、Hedyはノートに追加しましたと表示して、カードを開く表示ボタンを出します。

要約には、準備ができたファイルと写真がこのセッションのファイルと写真の下に一覧表示されます。ノートで管理をタップすると、カードに移動します。

ファイルを確認して管理する

ファイルや写真は、カード内ではそれぞれ1行で表示されます。カードのヘッダーには、全部で何件あるか、インデックス中が何件か、読み取れなかったものが何件かが表示されます。

ファイルには、種類、PDFの場合はページ数、状態が表示されます。たとえばPDF · 3ページ · 準備完了のようになります。Hedyが読み取っている間は「インデックス中…」と表示されます。
写真は、追加したデバイスではプレビューとこのデバイスに保存済みが表示されます。テキストを表示を選ぶと、Hedyが読み取ったテキストを確認でき、テキストを非表示で閉じられます。
読み取りに失敗し、元のファイルがこのデバイスにある場合は、再試行を選びます。
ファイルを削除または写真を削除を選ぶと、セッションから削除されます。
別のデバイスでは、その行にファイルは〜上に残りますまたは写真は〜内に保持されますと、元のファイルを保持しているデバイス名が表示されます。

ウェブアプリでは、ファイルと写真は閲覧のみです。追加や削除は、スマートフォンまたはパソコンのHedyで行ってください。

Hedyがファイルと写真で行うこと

Hedyは、ファイルや写真のテキストをお使いのデバイス上で読み取ります。写真やスキャンされたページには、デバイス自体のテキスト認識機能を使います。セッションとそのコンテキストにあるファイルが十分に短い場合、Hedyはそのテキストをすべて使います。ライブ提案には約1ページ分、チャットには数ページ分、要約と詳細なメモにはそれ以上が使われます。長い場合は、いまの用途に重要な部分を選び出します。

チャットでは、質問をすると、Hedyは一致する箇所を探して、回答に使います。
要約と詳細なメモでは、会話に一致する箇所が、名前、数字、事実を正しく扱う助けになります。
セッション中は、何を話すかを提案する際に、コンテキストのファイル、セッションのファイル、セッションの写真のテキストにある事実をHedyが活用できます。

Hedyはこのテキストを参考資料として扱い、ファイルの中に書かれた指示には従いません。

よりスマートなファイルコンテキスト（任意）

これがない場合、Hedyは短いファイルをそのまま全部使い、長いファイルでは、会話と共通する単語を含む箇所を探します。Apple Silicon搭載のMac、Windows、iPhone、iPad、対応するAndroidデバイスでは、よりスマートなファイルコンテキストもダウンロードできます。これは、人によって使う言葉が違っていても、Hedyが適切な箇所を見つける助けになります。これはダウンロードであり、スイッチではありません。このデバイスでよりスマートなファイルコンテキストがオフだとHedyが表示した場合は、そのデバイスがまだダウンロードしていないということです。

ファイルがあってまだダウンロードしていない場合は、セッションのファイルと写真カードや、コンテキストのファイルセクションに、ファイルと並んでよりスマートなファイルコンテキストのカードが表示されます。「ダウンロード (310 MB)」をクリックします。設定 → 音声とAI → よりスマートなファイルコンテキストからもダウンロードできます。ダウンロードはデバイスごとに1回だけで、そのデバイスに保存されます。ファイルを使ったセッションの後、まだダウンロードしていないデバイスでは、ファイルをもっと活用するというタイトルの案内でHedyがダウンロードを提案することもあります。

スマートフォンでは、大容量のダウンロードはWi-Fi接続を待ちます。モバイルデータ通信を使うには、「今すぐダウンロード（310 MB）」をタップします。データ量の制限がある接続を使っているパソコンでは、ダウンロードする前にHedyが確認します。

空き容量を確保するには、設定 → 音声とAI → よりスマートなファイルコンテキストに移動し、ファイルコンテキストの横にある削除を選びます。Hedyはその後も、ファイルにある完全一致する単語を照合でき、あとで再びダウンロードすることもできます。

デバイスごとのライブ提案

ライブセッション中は、チャットや要約に比べて、ファイルのテキストに割ける余地が小さくなります。セッションとそのコンテキストにあるすべてのファイルを合わせて、約1ページ分です。収まる場合は、どのデバイスでも、ライブ提案はそのテキストをすべて使います。収まらない場合、ライブ提案は、よりスマートなファイルコンテキストが会話に合わせて選んだ箇所だけを使います。そのためには、セッションの実行中にファイルを検索できるだけの速さのデバイスが必要です。

Apple Silicon搭載のMac、iPhone 15 Pro以降、M系列またはA17 Proチップ搭載のiPadは、ダウンロードが終わればすぐに対応します。WindowsのパソコンやAndroidスマートフォンなどのほかのデバイスは、ダウンロード直後に簡単な速度チェックを実行します。スマートフォンやタブレットでは、十分なメモリも必要です。その後Hedyが、よりスマートなファイルコンテキストの下に、このデバイスでライブ提案があなたのファイルを使うかどうかを表示します。チェックに失敗した場合は、もう一度確認で再実行できます。対応しないデバイスでは、ファイルを合わせた長さが約1ページを超えると、ライブ提案はあなたのファイルを使いません。

どのデバイスでも、ライブ提案に重要な事実を渡すには、コンテキスト自体のテキストに入れてください。コンテキストには最大20,000文字を入れられ、そのコンテキストを使うすべてのセッションで、ライブ提案はそのすべてを読み取ります。おすすめの設定は、最も必要な事実の要約をコンテキストのテキストに入れ、完全なドキュメントをチャット、要約、詳細なメモ用のファイルとして添付する方法です。コンテキストのテキストの変更は、次のセッションから、またはそのコンテキストをセッションに再び適用したときに反映されます。

チャット、要約、詳細なメモは、どのデバイスでもあなたのファイルをすべて使います。よりスマートなファイルコンテキストをダウンロード済みのデバイスでは、セッションが終了して音声認識が完了すると、要約と詳細なメモがそれを使います。ライブ提案に対応しないデバイスでセッションが実行されている間、チャットは完全一致する単語を照合します。セッションの写真は、どこでも同じように扱われます。

プライバシー

Hedyは、ファイルや写真のコピーを、追加元のデバイスに保管し、ファイルや写真そのものをアップロードすることはありません。
クラウド同期はあなたの選択です。オンの場合、Hedyが読み取ったテキスト、ファイル名と種類、検索用データは、他のデバイスで使えるように、あなたのアカウントのデータリージョンに保存されます。オフの場合、それらはそのデバイスにのみ保存されます。
クラウドAI分析では、Hedyはファイルと写真から選んだテキストとファイル名を、文字起こしと同じ条件で、当社のAIプロバイダーに送信します。短いファイルは全文が送られることがあります。これは、クラウド同期がオンかどうかにかかわらず行われます。
ローカルAIを使う場合、分析はデバイス上で実行され、ファイルのテキストが当社のAIプロバイダーに送られることはありません。クラウド同期がオンの場合、テキストは引き続きあなたのアカウントのデータリージョンに保存されます。
ファイルや写真を削除したり、そのコンテキストやセッションを削除したりすると、そのデバイス上のテキストと検索用データが削除されます。クラウド同期がオンの場合は、クラウド上と、同期した他のデバイスからも削除されます。アカウントを削除すると、クラウド上のそれらが削除されます。パソコンやスマートフォンの別の場所にある元のファイルには影響しません。ウェブでは、サインアウトするまで、Hedyが読み取ったテキストはブラウザに残ります。

Hedyによるデータの取り扱い全般については、データプライバシーの概要をご覧ください。