Hedyの文字起こしを理解する

Hedyの文字起こしの違い

Hedyを作り始めたとき、従来の文字起こしの方法には限界があると考えました。多くのアプリは音声を録音して遠くのサーバーに送り、プライバシーを損ないます。私たちはまったく違うアプローチを取りました。Hedyは、お使いのデバイス上で、音声をリアルタイムにローカル処理します。デフォルトでは、Hedyは録音を保持しません。誰が話したかを判別するために、対応するオンデバイスの音声エンジンは、セッションの音声を、処理が終わるまでデバイス上の一時キャッシュに保持し、その後削除します。保存されるのはテキストの文字起こしだけです。

ローカル処理：あなたの会話を、あなたの管理のもとに

Hedyは、音声認識をすべてお使いのデバイス上で行います。これは単なる機能ではなく、会話テクノロジーのあるべき姿を根本から見直したものです。デフォルトでは次のとおりです。

• 音声は保持されません。 Hedyは、デフォルトでは録音を保存しません。話者ラベルのために使う一時的な音声キャッシュはデバイス上にとどまり、セッションの処理が終わると削除されます。設定 > プライバシーとシステムの一時音声キャッシュでオフにできます。

• 音声がHedyのサーバーに送られることはありません。 音声処理はデフォルトでデバイス上でローカルに行われるため、音声データが当社に届くことはありません。例外は、ご自身でオンにするものです。ご自身のAPIキーを用意するクラウド文字起こしプロバイダーと、保存した音声をご自身のiCloudアカウントにコピーする「レコーディングをiCloudに同期」です。

• 保持されるのはテキストだけです。 Hedyが保持するのは、結果として得られる文字起こし、つまり会話のテキスト表現であり、音声そのものではありません。

後で聞き返すために音声を残したい場合は、セッション設定で音声の保存を有効にできます。このオプションをオンにすると、Hedyは音声の録音を、文字起こしと一緒にデバイス上にローカルで保存します。その場合でも、当社のサーバーに送られることはありません。Appleデバイスでは、さらに「レコーディングをiCloudに同期」をオンにして、ファイルをご自身のiCloudアカウントにコピーし、サインインしている他のAppleデバイスで再生することもできます。

プライバシーは後付けではなく、私たちの中核となる原則です。音声認識はデバイス上で動作し、音声はデフォルトでは保持されません。クラウド分析は、デフォルトでは文字起こしの内容をメモリ上で処理し、ローカルAI処理を使えば、パイプライン全体をデバイス上にとどめることもできます。

音声のプライバシーと同意に関する留意点

米国の一部の州の二者同意法や欧州のGDPRなど、多くの録音・文字起こしに関する法律は、音声の録音と保存を特に問題にしています。音声の保存をオフにしている場合（デフォルト）、Hedyは次のように動作します。

• セッションの処理が終わった後、音声ファイルを保持しません

• 音声は、セッションの処理が終わると削除される一時キャッシュとして、デバイス上にのみ保持します

• 音声をサーバーや第三者に送信しません

つまり、Hedyに適用される同意の要件は、音声を録音して保存するツールに適用されるものとは異なる場合があります。Hedyが生成するテキストの文字起こしはデバイスに保存されます。アカウント作成時にクラウド同期をオンにした場合は、暗号化されてクラウドにも同期されます。クラウドAI分析は、ローカルAI処理を使わない限り、文字起こしの内容を一時的に処理します。

音声の保存を有効にすると、会話の音声はデバイス上にローカルで保存されます。その場合は、あらゆる録音ツールに適用されるのと同じ同意に関する考慮事項が当てはまる可能性があります。

プライバシーや録音に関する法律は、法域によって異なります。お住まいの地域の規制をご確認ください。この情報は透明性のために提供するものであり、法的助言ではありません。

リアルタイム文字起こし：技術的な課題

モバイルデバイス上で、正確で即時の文字起こしを作るのは非常に複雑です。Hedyは、次の3つの重要な要素のバランスを取る必要があります。

• 処理速度

• 計算効率

• 音声認識の精度

私たちのアプローチは、すぐに洞察をお届けすることを優先しています。そのため、表示される文字起こしは、会話が進むにつれて変化し続ける生きた文書であり、会話の本質をその場で捉えます。

文字起こしの特徴を理解する

Hedyが生成する文字起こしは独特です。法廷レベルの完璧な記録を目指すものではなく、AIによる動的な会話のキャプチャです。次のような点に気づくことがあります。

• 句読点のばらつきがときどきある

• 言葉の選び方がわずかに違う

• 会話の流れを捉えた、くだけた書式

Hedyの文字起こしは、速記機械ではなく、会話の趣旨を捉える腕の良い書記のようなものだと考えてください。

文字起こしの話者名

話者チップは、Hedyが声を分離できたセッションに表示されます。オンデバイスの2つの音声エンジン、NemotronとWhisperのどちらでも可能です。クラウドの音声プロバイダー（Deepgram、OpenAI、xAI）で取り込んだセッションには話者のターンがないため、チップは表示されません。各エンジンの要件は、下のチップが表示されない場合をご覧ください。

声を分離したセッションでは、文字起こしの上に話者チップが並びます。各チップは、Hedyが検出した1人の話者です。チップをタップして、その話者に実際の名前を付けると、それ以降、文字起こし、参加者の名簿、セッションからエクスポートするものすべてにその名前が使われます。

Hedyは、名前を自動で割り出そうともします。誰かが自分の名前を名乗ったとき、または他の参加者がその人を名前で呼びかけたときが手がかりとなり、名前が自動的に適用されます。カレンダーの招待とトピックコンテキストも、正しい人物との照合に役立ちます。手がかりが乏しいときは、推測せずに番号のままにするため、名前が付く話者と付かない話者が混在するのは普通のことです。

ご自身で入力した名前が上書きされることはありません。 Hedy自身の推定は、ご自身で名前を付けていない話者にのみ入ります。

名前はセッションとともに引き継がれます。コピー、共有、ダウンロード、エクスポートに表示され、他のデバイスにも同期されます。文字起こしのクリーンアップは、確認済みの名前を使うため、クリーンアップ後の文字起こしには実在の人物が登場します。

話者の名前を変えても、すでに生成した要約や詳細なメモは書き換えられません。Hedyは次のようにお知らせします。「既存のAI出力には以前の名前が保持されます。最新の状態にするには、要約またはノートを更新してください。」 要約を更新するには、要約カードの円形の矢印のアイコン（ツールチップは概要を再生成）を使います。

2人の話者を1人に統合する

Hedyが1人を2人として聞き取ってしまったときは、チップを統合できます。吸収させたい側のチップをタップし、その統合アイコンをタップして、「統合先…」のリストから、その人が属する話者を選びます。それ以降、2つは1つの名前と1つの色を共有し、要約と詳細なメモでも1人の人物として扱われます。

両方のチップに同じ名前を付けても、同じ効果は得られません。同じラベルを持つ2人の別々の話者が残るだけで、要約では2人として扱われます。

使う前に知っておくべきことが2つあります。

• 統合先の話者には、すでに名前が付いている必要があります。名前のない話者どうしの統合は、結果に表示するラベルがなくなるため、選べません。
• 統合はアプリから元に戻せないため、残す話者は慎重に選んでください。

文字起こし自体は書き換えられません。統合は文字起こしを読み込むときに適用されるため、コピー、ダウンロード、共有、公開リンク、他のデバイスにもセッションとともに反映されます。

チップが表示されない場合

名簿には、話者のターンが分離された文字起こしが必要です。オンデバイスの2つの音声エンジンのどちらでも作れます。

• Nemotronは、macOS 15以降を実行するApple Silicon Mac、iPhone XS以降、Neural Engineを搭載したiPad、Windows、64ビットのAndroidスマートフォンで話者を分離します。Apple製ハードウェアではラベルがライブで表示され、WindowsとAndroidではセッションの終了時に追加されます。
• Whisperは、32ビットのAndroidスマートフォンを除くすべてのネイティブアプリで、セッションの終了後に話者ラベルを追加できます。音声認識検出をオンのままにし、開始する前にセッションの音声を保存または一時音声キャッシュをオンにしてください。Whisperでインポートした音声ファイルや動画ファイルにも、話者ラベルを付けられます。

クラウドの音声プロバイダーで取り込んだセッションには話者のターンがないため、チップは表示されません。これはセッションの性質であり、後から切り替えられる設定ではありません。上記の設定なしで取り込んだセッションに、後から名簿が付くことはありません。

Hedyが話者のラベル付けを試みてできなかった場合は、通常の文字起こしのままになります。話者ラベルが利用できないという注記は、そのセッションを実行したデバイスにのみ表示されます。同期されることはなく、共有されたセッション、Webアプリ、ラベル付けを試みなかったセッションにも表示されません。これは、1人しか話していないという意味ではありません。

この注記は、音声認識検出と、セッションの音声を保存または一時音声キャッシュがオンだったWhisperのセッションにのみ表示されるため、セッションがクラウドの音声プロバイダーを使っていた、あるいはそれらの設定のひとつがオフだったという意味になることはありません。Whisperのセッション後のラベル付けは、すべてのセッションで成功するわけではありません。この注記が表示されたセッションでは、トランスクリプトをクリーンアップ（下のトランスクリプトのクリーンアップをご覧ください）が、会話そのものから話者ラベルを追加できます。今後のセッションでは、お使いのデバイスで利用できる場合に、Nemotronに切り替えることもできます。Apple製ハードウェアでは、ラベルがセッション中にライブで表示されます。

Webアプリでは、これらのセッション自体を取り込むことはできませんが、他のデバイスから同期されたセッションでは、チップを表示し、名前を変更できます。

名前を変更できない場合

チップは表示されても、次の場合は編集できません。

• そのセッションが、他の人から共有されたものである場合
• セッションがまだ実行中の場合。先に終了してください
• クリーンアップ済みのバージョンを表示している場合。きらめきのトグルでオリジナルに戻し、そこで名前を変更してから、終わったら切り替え直してください

文字起こしのタイムスタンプ

タイムスタンプは、会話の各部分がいつ話されたかを示します。デフォルトではオフです。オンにするには、セッションの文字起こしを開き、文字起こしの横のツールバーにある時計ボタン（ツールチップはタイムスタンプを表示）を選びます。もう一度選ぶと非表示になります。Hedyは、そのデバイスでの選択を記憶します。

各話者のターンには、セッションの開始からの経過時間として、開始時刻が表示されます。たとえば、12:40や、長いセッションでは1:05:12のようになります。

音声のその瞬間にジャンプできます。 このデバイスに保存された音声があるセッションでは、時刻を選ぶと、その少し前から会話が再生されます。前後の流れが聞こえるよう、Hedyは約2秒早く再生を始めます。セッションの音声を残すには、開始する前にセッションの音声を保存をオンにしてください（音声セッションの録音と管理をご覧ください）。セッションの音声がiCloudにある場合は、先にダウンロードしてください。

タイムスタンプの表示中は、コピーやダウンロードにも時刻が含まれます。 時刻のない文字起こしがほしい場合は、先に非表示にしてください。

時計ボタンが表示されない場合

タイムスタンプは話者ラベルと一緒に付くため、話者チップと同じセッション、つまりNemotronまたはWhisperが声を分離したセッションに表示されます。クラウドの音声プロバイダー（Deepgram、OpenAI、xAI）で取り込んだセッションには時間情報がないため、時計ボタンは表示されません。時間情報が保存されるようになる前に保存された古いセッションにも、表示されません。

Webアプリやトピックの文字起こしビューでは、タイムスタンプは表示されますが、選んで音声を再生することはできません。

トランスクリプトのクリーンアップ

共有、エクスポート、あるいは読みやすさのために、より整った文字起こしがほしい場合、Hedyはオンデマンドでクリーンアップ済みのコピーを作成できます。完了したセッションを開いてトランスクリプトタブに進み、トランスクリプトをクリーンアップボタン（きらめき・星のアイコン、✨。見逃しやすいです）をタップします。元の文字起こしが上書きされることはありません。クリーンアップ済みのバージョンは、その隣に保存され、いつでも2つを切り替えられます。

話者が多すぎる？ トランスクリプトのクリーンアップで解決

Hedyは、文字起こしの際に、聞き取った声を別々の話者に振り分けて、話者を自動でタグ付けします。長い会話や、背景ノイズやエコーがある場合は、数えすぎて、1人を複数に分けてしまうことがあります。2人のセッションが5人以上の話者に見えることもあります。セッションに問題があるわけではなく、1行ずつラベルを付け直す必要もありません。トランスクリプトをクリーンアップを実行すれば解決します。セッション全体を読み直して声を元の数にまとめるため、話者が多すぎる、話者の数が違う、話者ラベルが間違っている、1つの声が複数の話者に分かれているといった問題が、一度で整理されます。

1人だけが分かれていて、残りの文字起こしが問題なく読める場合は、2つのチップを統合する（上の2人の話者を1人に統合するをご覧ください）ほうが小さな修正で済み、他の部分には手を加えません。

1つのターンやセクションだけを別の話者に割り当て直すことはできません。話者ラベルの誤りを直す方法は、統合とトランスクリプトのクリーンアップの2つです。

実行する前に、セッションを開いてメモを確認してください。 クリーンアップは、セッションの要約と詳細なメモを読んで、誰が話していたのかを判断します。そこに実際の参加者の名前がはっきり書かれていれば、クリーンアップ済みのコピーでは、「話者1」「話者2」に戻らず、実名で人物にラベルを付けられます。トランスクリプトをクリーンアップをタップする前に、要約やメモに全員の名前があることを確認しておくと安心です。

クリーンアップ済みのコピーが、それでも間違った話者の数になる場合があります。これは想定内です。クリーンアップはAIが生成するもので、毎回正確になるわけではありません。メモや要約の名前を直してから、もう一度トランスクリプトをクリーンアップを実行すると、更新された文脈から新しいコピーが生成されます。

クリーンアップを実行すると、HedyのAIは次のことを行います。

• 話された内容を変えずに、スペル、句読点、文法を修正します

• 話者ラベルを追加します。話者チップで確認済みの名前を使い、次にセッションの要約やメモで特定できる参加者の実名を使い、それもなければ「話者1」「話者2」などにします

• 段落の区切りと分かりやすい言い回しで全体の読みやすさを高め、[Music]や>>などの余分な記号を取り除きます

• カスタム語彙を適用して、社名、製品用語、専門用語が正しく表記されるようにします

• オプションとして、同じ手順でクリーンアップ済みの文字起こしを別の言語に翻訳します。クリーンアップのダイアログで対象の言語を選ぶか、「元の言語を保持」のままにします

セッションにクリーンアップ済みのバージョンができると、文字起こしビューのトグル（きらめきのアイコン）で、オリジナルとクリーンアップ済みを切り替えられます。クリーンアップ済みのビューにいる間は、いつでも「整形済みの文字起こしを表示中」というバナーが表示されます。

トランスクリプトのクリーンアップは、クラウドのAIモデルを使い、セッションを取り込んだデバイスで実行されます。別のデバイスから同期または共有されたセッションでは、クリーンアップを実行できません。元の所有者が、元のデバイスでのみ、文字起こしをクリーンアップできます。

文字起こしのテキストを手動で編集するには、オリジナルのビューに戻してください。編集できるのは元の文字起こしだけで、逐語的な原本が損なわれないようになっています。編集後に、もう一度クリーンアップを実行すると、修正を反映した新しい整ったコピーが生成されます。

言語と精度

私たちは、さまざまな言語での文字起こしの改善に取り組んでいます。現時点では英語が最も洗練された体験を提供しますが、ローカル処理の機能を継続的に拡充し、磨き続けています。スマートフォンのプロセッサーが高性能になるにつれて、文字起こしはますます高度になっていきます。

文字起こしの品質を高める

Hedyは会話をできるだけ正確に捉えるよう努めていますが、次の点を心がけていただくと品質が上がります。

• はっきりと、適度なペースで話す

• 背景ノイズを最小限にする

• デバイスを最適な位置に置く

それでも文字起こしが乱れたり不完全だったりする場合は、文字起こしの品質が悪いときの対処法をご覧ください。終了したセッションで話者が多すぎる場合は、取り込みの問題ではなくクリーンアップで対処します。上のトランスクリプトのクリーンアップのセクションをご覧ください。

背景ノイズ、複数の話者の重なり、複雑な音声環境は、最先端の音声認識にとっても難しい課題です。

文字起こしにアクセスして活用する

Hedyでは、文字起こしに簡単にアクセスできます。

• セッション中にリアルタイムで表示

• 過去のセッションを見直す

• さらなる分析のために共有またはエクスポート

• AIの洞察やハイライトと連携

ローカル文字起こしの未来

私たちは始まったばかりです。ロードマップには次のものがあります。

• 言語サポートの拡充

• 処理アルゴリズムの改善

• リアルタイム精度の向上

• 計算負荷の削減