文字起こしの精度が低い場合の対処法
Hedyの文字起こしに、聞き逃した単語、間違った固有名詞、意味の通らない言い回しなど、誤りが多い場合、原因がAIモデルそのものにあることはまれです。ほとんどの場合、次のいずれかです。音声の取り込み環境が悪い、マイクが違う、言語設定が違う、使い方に合わないプロバイダーを選んでいる。ここでは、原因として多い順に、診断方法と対処法を紹介します。
まず基本を確認する
何かを変更する前に、次の点を確認してください。
-
会議/授業の言語が、実際に話している言語に設定されていますか? 設定 > プロフィール > 言語設定で確認できます。デフォルトの音声認識プロバイダー(Whisper)は言語を自動検出せず、設定した言語であるものとして文字起こしします。両者が一致していないと、すべての単語が間違ってしまいます。文字起こしが違う言語になったをご覧ください。
-
正しいマイクが選ばれていますか? 設定 > セッション > マイク設定で確認できます。接続を外したBluetoothヘッドセットや、抜いてしまったUSBマイクを誤って選んでいると、Hedyは無音を取り込んでおり、文字起こしは意味のないものになります。
「精度が低い」という相談の多くは、技術的な問題ではなく、この2つの設定のどちらかが原因です。
音声環境を改善する
Hedyは、クライアント側でノイズ抑制、自動ゲイン制御、エコーキャンセルを行いません。Macでシステム音声を取り込むときは、相手が話している間、Hedyがマイクの音量を下げ、スピーカーから出る相手の声が二重に取り込まれないようにします。文字起こしに渡される音声は、基本的にマイクが拾った音そのものです。音声がクリアなほど、文字起こしもクリアになります。
-
マイクを話している人に近づけましょう。 対面の会議では、小さなテーブルの中央にスマートフォンを置けば、4〜5人まで対応できます。大きな部屋、8人以上、騒がしい環境では、複数のデバイスか、専用のカンファレンスマイクを使ってください。
-
背景ノイズを減らしましょう。 ファン、エアコン、キッチン家電、交通音、背景で話している人の声は、どれも精度を下げます。ドアや窓を閉め、可能であればファンを止めてください。
-
ノートパソコンのスピーカーから流れる音を、同じノートパソコンで録音するのは避けましょう。 ノートパソコンのスピーカーで再生している会議(たとえばYouTubeの動画)を取り込みたい場合は、代わりにシステム音声の取り込み機能を使ってください。オンライン会議でHedyがほかの参加者を取り込めないをご覧ください。
-
同時に話さないようにしましょう。 発話が重なる状況は、どの音声認識にとっても最も難しいケースです。Hedyの話者分離は話者を区別しようとしますが、複数の人が同時に話すと、精度は大きく下がります。
適切な音声認識プロバイダーを選ぶ
Hedyには、デバイス上で動作する音声認識オプションが3つ、クラウドプロバイダーが3つ(Deepgram、OpenAI、xAI Grok。それぞれご自身のAPIキーが必要)あります。設定 > 音声とAI > 音声認識オプションで確認、変更できます。
| プロバイダー | 種類 | 向いている用途 | トレードオフ |
|---|---|---|---|
| Whisper(ローカル)、デフォルト | ローカル | プライバシーを重視する用途、オフラインでの利用、幅広い言語への対応、セッション後の話者ラベル | 内蔵グラフィックスでは遅くなる。会議/授業の言語を使用する(自動検出なし) |
| Nemotron English Only(ローカル) | ローカル(すべてのネイティブプラットフォーム) | すべて英語で行う会議、デバイス上の話者ラベル | 英語のみ。ほかの言語は出力できない |
| Nemotron Multilingual(ローカル) | ローカル(すべてのネイティブプラットフォーム) | 約40言語、デバイス上の話者ラベル | Auto-detect languageをオンにしない限り、会議/授業の言語を使用する。言語は強いヒントとして扱われるため、まれに発音の似た言語にずれることがある |
| Deepgram(ご自身のAPIキーが必要) | クラウド | すでにDeepgramを使っている人、多言語の自動検出 | DeepgramのアカウントとAPIキーが必要。ローカルではない |
| OpenAI(ご自身のAPIキーが必要) | クラウド | すでにOpenAIを使っている人、言語の自動検出 | OpenAIのアカウントとAPIキーが必要。ローカルではない |
| xAI Grok(ご自身のAPIキーが必要) | クラウド | すでにxAIを使っている人、カスタム語彙がヒントとして送信される | xAIのアカウントとAPIキーが必要。ローカルではない |
デフォルトのWhisperプロバイダーを使っていて、精度が十分でない場合は、次の方法を試してください。
-
お使いの言語におすすめのエンジンを確認しましょう。 Hedyの音声認識プロバイダーには、会議/授業の言語ごとに、デバイス上で最も精度の高いエンジンを示した表があります。多くの言語ではNemotron Multilingualですが、一部の言語ではLargeモデルのWhisperです。
-
MacまたはWindows PCでは、WhisperのLargeモデルを試しましょう。 設定 > 音声とAI > 音声認識モデルに移動し、通常ではなく大を選びます。特に英語以外の言語で精度が上がりますが、メモリの使用量が増え、処理は遅くなります。スマートフォンやタブレットでは、お使いのデバイスで利用できる場合は大きいモデルを使用をオンにしてください。
-
同じ音声をNemotronにかけて比べましょう。 英語以外の会議にはNemotron Multilingual(ローカル)を、すべて英語で行う会議にはNemotron English Only(ローカル)を選びます。AppleのハードウェアではNemotronはNeural Engine上で動作します。Nemotron Multilingualでは、Auto-detect languageをオフのままにして、会議/授業の言語を使うようにしてください。自動検出をオンにすると、発音の似た言語に決まってしまう(たとえばオランダ語がドイツ語になる)可能性が高くなります。
-
途中で言語が切り替わる会議の場合:Whisperはセッション全体を1つの言語と想定します。Auto-detect languageをオンにしたNemotron Multilingualなら、音声に合わせて言語を追従できます。すでにDeepgramやOpenAIをご自身のAPIキーで使っている場合は、どちらも言語を自動検出できます。
-
オフラインのまま、または完全にプライベートに使いたいが、お使いのハードウェアでWhisperが遅い場合:Windows向けのGPUアクセラレーションの対処法はWindowsで文字起こしが遅い場合の対処法(GPU設定)をご覧ください。または、すべてのネイティブプラットフォームで動作するNemotronに切り替えてください。
固有名詞にはカスタム語彙を使う
Hedyが名前、専門用語、製品名、業界用語を誤って文字起こしする場合は、カスタム語彙に追加してください。
-
Hedyの設定を開きます
-
パーソナライゼーション > カスタム語彙 > 語彙用語の管理に移動します
-
「カスタム用語を入力…」に用語を1つずつ入力し、追加をタップします
-
カスタム語彙を有効にするがオンになっていることを確認します
カスタム語彙は、ローカルのWhisperによる文字起こしにプロンプトとして直接渡されるため、Whisperは専門分野の用語を認識し、正しく表記できます。Deepgramにも渡されます。デフォルトのNova-3モデルでは、Hedyは用語をキーターム(keyterm)としてDeepgramに送信します。Deepgramが受け付ける数には上限があるため、長いリストの場合は、先頭の数十個だけが送られます。また、語彙リストは、すべてのプロバイダー(Nemotron、Deepgram、OpenAIを含む)に対して実行される文字起こしの整形ステップでも、誤りの検出と修正に役立ちます。
注:カスタム語彙が最も直接的に効果を発揮するのは、ローカルのWhisper、Nova-3のDeepgram、xAI Grokです。Deepgramの旧モデルであるNova-2には渡されず、NemotronやOpenAIにも渡されません。これらの場合、整形ステップでは語彙リストが使われますが、音声認識エンジン自体には語彙リストが渡りません。
優れた語彙リストの作り方の詳しいガイドは、カスタム語彙ガイドをご覧ください。
マイクのハードウェアの問題を解決する
セッションの途中で音質が低下する場合や、特定の話者の声しか入らない場合は、ハードウェアが疑わしいといえます。
-
Bluetoothヘッドセットは、バッテリー残量が減ったときや距離が離れたときに音質が落ちやすくなります。AirPodsやBluetoothヘッドホンの音が途切れるをご覧ください。
-
USBマイクはケーブルの問題が起こることがあります。別のUSBポートや別のケーブルを試してください
-
ノートパソコンの内蔵マイクは、キーボードの近くに座っている1〜2人であれば問題ありません。会議室には向いていません。
-
ケースに入れたスマートフォンや、布の下に置いたスマートフォンは、音がこもることがあります
簡単なテストとして、ボイスメモ、レコーダー、またはそれに似たシンプルなアプリで、同じマイクを使って短い音声メモを録音してみてください。その録音の音質が悪ければ、問題はHedyではなくマイクにあります。
Hedyが使用する音声フォーマット
参考までに、Hedyは16 kHz、モノラル、16ビットPCMで音声を取り込みます。これは音声認識の標準的な形式です。この形式は、ローカルのWhisperとDeepgramにそのまま渡されます。OpenAI Realtimeには、Hedyが24 kHzにリサンプリングしてから送信します(OpenAIが求める形式です)。これらはいずれも音声には十分ですが、音楽や高音質の音声には不向きな圧縮形式です。楽曲の文字起こしでよい結果を期待しないでください。
サポートに問い合わせるタイミング
上記をすべて確認しても精度が低いままの場合は、次の手順に進んでください。
-
エラーの種類(単語の誤り、抜け落ち、話者の割り当てミス、まったく意味をなさない、など)を具体的にメモします
-
エラーが起きている部分の30秒間のサンプルを取っておきます
-
チャットウィジェットから、サンプルと、プロバイダーおよび言語の設定を添えてお問い合わせください
環境の問題か、設定の問題か、プロバイダーの問題かを、通常は特定できます。
関連記事
それでも解決しない場合は、 プロバイダー、会議/授業の言語の設定、お使いのデバイスのモデル、問題が確認できるサンプルを添えて、チャットウィジェットからお問い合わせください。