HedyがNVIDIA Nemotron 3 DiarizationをiPhoneとMacに搭載

NVIDIAは本日、同社で最も高性能な話者ダイアライゼーションモデルであるNemotron 3 Diarizationを公開しました。Hedyは、iPhoneとMac向けのHedy 3.12で、初日から対応しています。私たちが目にした中で最も精度の高いダイアライゼーションモデルであり、お使いのデバイス上で動作するため、会議が終わったあとも、誰が何を話したかの記録を信頼しやすくなります。

話者ラベルは、文字起こしを会話に変えるものです。ラベルがずれると、発言が別の人のものになり、要約もその間違いを繰り返してしまいます。このモデルは、この問題のために作られています。

Nemotron 3 Diarizationは何をするのか

ダイアライゼーションは、録音について1つの問いに答えます。誰がいつ話したか、です。音声を話者ごとに分け、それぞれが話している区間を示します。言葉を文字に起こすのは別の作業で、誰かの名前を知ることもまた別の作業です。

Nemotron 3 Diarizationは、その作業のためのNVIDIAの最新モデルです。会話が進んでも各話者のラベルを安定して保つ、NVIDIAのStreaming Sortformerの研究をもとにしています。NVIDIAのモデルドキュメントによると、次のとおりです。

• 会議、電話、ポッドキャストなどの会話音声で学習されています。
• 発言が重なる場面、つまり2人が同時に話す瞬間にも対応します。
• 1つの録音で、最大8人の話者を追跡できます。
• 話者は最初に話した順にラベル付けされ、最初の声が話者1になります。
• 約1億パラメータのコンパクトなモデルで、そのおかげでスマートフォン上での実行が現実的になっています。

また、公開されている2つのベンチマークで、クラウドサービスを上回っています。NVIDIAの発表記事によると、このモデルはVoiceArenaのダイアライゼーションのリーダーボードで、ダイアライゼーション誤り率（誤ってラベル付けされた発話時間の割合）14.72%で1位となり、2位のシステムの19.3%を上回っています。Argmaxが公開したベンチマークでは、Mac上で動作しながら、テストした6つのシステム（うち3つはクラウドのダイアライゼーションサービス）の中で最も低い誤り率でした。

NVIDIAはまた、テストしたすべてのベンチマークで、従来のダイアライゼーションモデルより改善したと報告しています。その差は、4人を超える人数が話しているときに広がります。ここは、これまで話者ラベルが苦手としてきた場面です。

グラフ：NVIDIA、Nemotron 3 Diarizationの発表記事より。低いほど優れています。色付きの部分は、話者が4人を超える領域です。 NVIDIAは、評価結果の全文とともに、このモデルをHugging Faceで公開しています。

HedyでNemotron 3 Diarizationは何を変えるのか

Hedyはすでに、Nemotron音声エンジンを使って、話している最中に話者をラベル付けしています。そのライブのラベルは、これまでと変わりません。

新しいのは、セッションを終了した後に起こることです。ライブのラベルはその場で決めなければならないため、Hedyは会話が終わってから、もう一度見直すようになりました。セッションに対してNemotron 3 Diarizationを実行し、文字起こしの各部分がどの話者のものかを更新します。

この処理が触れるのは、話者の割り当てだけです。文字起こしのすべての単語とタイムスタンプは変わりません。処理が終わると、文字起こしの上にある話者チップは、これまでと同じように使えます。タップして話者に名前を付けたり、同一人物だと分かった2つのチップを統合したりできます。

Nemotron 3 Diarizationはデバイス上で動作するのか

Hedyが目指すのは、リアルタイムで聞き取りながら、会話のプライバシーを守る会議サポートです。そのため音声認識は、初期設定でデバイス上で動作します。話者のラベル付けも同様です。

Nemotron 3 Diarizationも同じ原則に従っており、これほど高性能なモデルがスマートフォンで動くほど小さいことを、私たちは嬉しく思っています。AppleのCore MLを通じて、お使いのiPhoneまたはMac上で動作し、誰が話していたかを割り出すために音声がクラウドサービスに送られることはありません。セッション後に処理を行うため、Hedyはセッションの音声をデバイス上の一時的なキャッシュに保管し、処理のあとで削除します。このキャッシュと、それを制御する設定については、音声認識ガイドで説明しています。

要約とメモを書くAIの工程は、別の選択です。ローカルAI処理を使えば、そちらもデバイス上に留められます。

Nemotron 3 Diarizationに対応しているデバイスは？

Nemotron 3 Diarizationは、Hedy 3.12以降を実行している、対応するiPhoneとApple Silicon搭載Macで動作します。WindowsとAndroidのHedyは、現在の話者ラベルのままです。

Hedy 3.12は、今後24時間かけて順次提供されるので、Hedyでアップデートを探してください。入手したら、設定 → 音声とAIを開き、そこでHedyが提案する音声モデルのアップデートをインストールしてください。

対象は、Nemotron音声エンジンで取り込んだセッションです。これは、Hedyで話者を分離するエンジンです。現在Whisperやクラウドの音声プロバイダーを使っている場合は、同じ設定画面でNemotronに切り替えると、ライブでもセッション後でも話者ラベルが得られます。

よくある質問

Nemotron 3 Diarizationとは何ですか？

NVIDIAが開発した話者ダイアライゼーションのモデルです。ダイアライゼーションとは、録音の中で誰がいつ話したかを割り出す工程のことです。Nemotron 3 Diarizationは、会議や通話などの会話向けに作られており、人の発言が重なる場面にも対応し、最大8人の話者を追跡できます。

Nemotron 3 Diarizationの精度はどのくらいですか？

NVIDIAによると、VoiceArenaのダイアライゼーションのリーダーボードで、ダイアライゼーション誤り率14.72%で1位となり、2位のシステムの19.3%を上回っています。Argmaxが公開したベンチマークでは、3つのクラウドのダイアライゼーションサービスを含む、テストした6つのシステムの中で最も低い誤り率でした。ダイアライゼーション誤り率とは、話している時間のうち、誤った話者に割り当てられた、検出されなかった、または音声として誤って判定された時間の割合なので、低いほど優れています。

ライブセッション中の話者ラベルは変わりますか？

いいえ。セッションの実行中に表示されるライブのラベルは、これまでどおりに動作します。Nemotron 3 Diarizationが働くのは、セッションが終わったあとです。

自分のデバイス上で動作しますか？

はい。モデルは、AppleのCore MLを通じて、お使いのiPhoneまたはMac上で動作します。誰が話していたかを割り出すために、音声がクラウドサービスに送信されることはありません。

どのセッションが対象ですか？

Nemotron音声エンジンで取り込んだセッションです。モデルはセッションの音声を読み取るため、その音声がデバイス上にある必要があります。音声録音がオンになっているか、Nemotron用の一時的な音声キャッシュがオンになっている必要があります。キャッシュは初期設定でオンで、処理後に削除されます。

人の名前も分かりますか？

いいえ。モデルは声を区別して、話者1、話者2などとラベルを付けます。名前は引き続きHedyが、自己紹介、カレンダーの招待、トピックコンテキスト、そしてあなたが入力した名前から取得します。

どのデバイスに対応していますか？

Hedy 3.12以降を実行している、対応するiPhoneとApple Silicon搭載Macです。WindowsとAndroidのHedyは、現在の話者ラベルのままです。