Soniqosoniqo
ブログ
音声クローンのベンチマーク
July 2, 2026

音声クローンモデルを五言語で実測。

言語ごとに 10 名の FLEURS 参照話者をクローンし、保留した 10 文の FLEURS 目標文を生成して、話者類似度・WER/CER・UTMOS の予測品質・定常速度を平均しました。下のプレイヤーは同一実行から代表的な参照と生成出力を示します。

EnglishEspañolDeutschFrançaisPortuguêsРусский中文日本語한국어हिन्दीالعربيةTiếng ViệtTürkçeไทย

英語

FLEURS test/en_us、参照/目標ペア 10 組

人間 ASR の下限：元の FLEURS 目標音声で 3.5% WER。

モデル精度コサインWERUTMOS音声 μRTF 中央
OmniVoiceint80.51311.1%2.325.20 s0.17
VoxCPM2bf160.5471.8%2.974.88 s1.11
Chatterbox Multilingualfp160.6421.2%2.225.10 s0.76
Fish Audio S2 Profp160.4893.9%3.474.60 s2.78
Qwen3-TTS Base1.7B bf16 ICL0.4912.4%3.504.95 s1.70

ドイツ語

FLEURS test/de_de、参照/目標ペア 10 組

人間 ASR の下限：元の FLEURS 目標音声で 11.4% WER。

モデル精度コサインWERUTMOS音声 μRTF 中央
OmniVoiceint80.7874.3%2.896.57 s0.22
VoxCPM2bf160.7323.8%2.805.76 s1.09
Chatterbox Multilingualfp160.7785.2%3.326.12 s1.20
Fish Audio S2 Profp160.7187.0%3.345.66 s2.80
Qwen3-TTS Base1.7B bf16 ICL0.72110.8%3.345.79 s1.72

現代標準アラビア語

FLEURS test/ar_eg、参照/目標ペア 10 組

人間 ASR の下限：元の FLEURS 目標音声で 32.8% WER。

モデル精度コサインWERUTMOS音声 μRTF 中央
OmniVoiceint80.72733.2%2.727.04 s0.18
VoxCPM2bf160.67830.2%2.676.26 s1.14
Chatterbox Multilingualfp160.70328.3%2.906.37 s1.10
Fish Audio S2 Profp160.68826.7%3.305.63 s2.83

スペイン語

FLEURS test/es_419、参照/目標ペア 10 組

人間 ASR の下限：元の FLEURS 目標音声で 10.6% WER。

モデル精度コサインWERUTMOS音声 μRTF 中央
OmniVoiceint80.7589.9%2.866.29 s0.21
VoxCPM2bf160.6415.8%2.624.58 s1.18
Chatterbox Multilingualfp160.7086.9%3.375.08 s1.22
Fish Audio S2 Profp160.6336.8%2.954.48 s2.73
Qwen3-TTS Base1.7B bf16 ICL0.71011.1%3.034.79 s1.76

中国語

FLEURS test/cmn_hans_cn、参照/目標ペア 10 組

人間 ASR の下限：元の FLEURS 目標音声で 7.6% CER。

モデル精度コサインCERUTMOS音声 μRTF 中央
OmniVoiceint80.7094.9%2.836.56 s0.21
VoxCPM2bf160.6954.9%2.915.70 s1.10
Fish Audio S2 Profp160.6346.2%3.554.95 s2.76
Qwen3-TTS Base1.7B bf16 ICL0.7015.7%3.445.24 s1.73

値は対応言語ごとに生成 10 クリップの平均で、RTF だけはコールドスタートの外れ値を避けるため中央値を使います。話者コサインが高いほど、生成クリップが FLEURS 参照話者の埋め込みに近いことを意味します。WER/CER が低いほど要求テキストがきれいに復元されており、中国語は CER、他の言語は WER で採点します。UTMOS が高いほど、1〜5 のスケールでの無参照の予測自然度スコアです。RTF は低いほど高速です。ダッシュはそのバッチ実行がその行で信頼できる計時を出せなかったことを意味します。これらは工学的な回帰指標であり、人間の MOS パネルではありません。同じ Qwen3-ASR 採点器はどの言語でも同じくきれいなわけではありません。本セットの元の人間 FLEURS 目標クリップでは、その基準誤差は英語 3.5% WER、ドイツ語 11.4% WER、アラビア語 32.8% WER、スペイン語 10.6% WER、中国語 7.6% CER です。WER/CER は TTS の純粋な品質スコアではなく、テキスト復元の負荷信号として読んでください。精度は行ごとに記載しています。VoxCPM2 の公開フル精度 Swift 経路は bf16 で、OmniVoice は公開の int8 バンドルで示しています。今回の公開実行では fp16 バックボーンを使わなかったためです。量子化行は品質と速度の両方を変え得るので、表には各行で実際に測定した経路のみを含めます。

入力と出力のサンプルレート

ソース役割レート
FLEURS references入力参照16 kHz
OmniVoice / Chatterbox生成出力24 kHz
Qwen3-TTS Base ICL生成出力24 kHz
Fish Audio S2 Pro生成出力44.1 kHz
VoxCPM2生成出力48 kHz

参照は 16 kHz なので、観測可能な情報はおよそ 8 kHz までしか含みません。高レートの出力は、高帯域の息・歯擦音・部屋の細部をより多く保持または合成するため、より開けて聞こえることがありますが、44.1 または 48 kHz の出力が自動的により良いクローンを意味するわけではありません。話者の同一性と明瞭性の手がかりの多くはその高帯域よりずっと下にあり、一方で過剰な高周波エネルギーは、WER と話者コサインが良く見えても声を鋭く感じさせることがあります。

参照音声と生成クローン

英語の参照

英語

FLEURS test/en_us/6306322369645218273.wav

参照の書き起こし： One can only wonder what the keyboard will become when something newer comes along.

生成テキスト： While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice
英語の参照からの int8 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.513
WER μ
11.1%
UTMOS μ
2.32
RTF 中央
0.17
VoxCPM2
英語の参照からの bf16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.547
WER μ
1.8%
UTMOS μ
2.97
RTF 中央
1.11
Chatterbox Multilingual
英語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.642
WER μ
1.2%
UTMOS μ
2.22
RTF 中央
0.76
Fish Audio S2 Pro
英語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.489
WER μ
3.9%
UTMOS μ
3.47
RTF 中央
2.78
Qwen3-TTS Base
英語の参照からの 1.7B bf16 ICL クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.491
WER μ
2.4%
UTMOS μ
3.50
RTF 中央
1.70
ドイツ語の参照

ドイツ語

FLEURS test/de_de/17047810064400454397.wav

参照の書き起こし： Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

生成テキスト： Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice
ドイツ語の参照からの int8 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.787
WER μ
4.3%
UTMOS μ
2.89
RTF 中央
0.22
VoxCPM2
ドイツ語の参照からの bf16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.732
WER μ
3.8%
UTMOS μ
2.80
RTF 中央
1.09
Chatterbox Multilingual
ドイツ語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.778
WER μ
5.2%
UTMOS μ
3.32
RTF 中央
1.20
Fish Audio S2 Pro
ドイツ語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.718
WER μ
7.0%
UTMOS μ
3.34
RTF 中央
2.80
Qwen3-TTS Base
ドイツ語の参照からの 1.7B bf16 ICL クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.721
WER μ
10.8%
UTMOS μ
3.34
RTF 中央
1.72
現代標準アラビア語の参照

現代標準アラビア語

FLEURS test/ar_eg/747984393569561964.wav

参照の書き起こし： المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

生成テキスト： قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice
現代標準アラビア語の参照からの int8 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.727
WER μ
33.2%
UTMOS μ
2.72
RTF 中央
0.18
VoxCPM2
現代標準アラビア語の参照からの bf16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.678
WER μ
30.2%
UTMOS μ
2.67
RTF 中央
1.14
Chatterbox Multilingual
現代標準アラビア語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.703
WER μ
28.3%
UTMOS μ
2.90
RTF 中央
1.10
Fish Audio S2 Pro
現代標準アラビア語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.688
WER μ
26.7%
UTMOS μ
3.30
RTF 中央
2.83
スペイン語の参照

スペイン語

FLEURS test/es_419/11137049735103408221.wav

参照の書き起こし： Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

生成テキスト： La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice
スペイン語の参照からの int8 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.758
WER μ
9.9%
UTMOS μ
2.86
RTF 中央
0.21
VoxCPM2
スペイン語の参照からの bf16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.641
WER μ
5.8%
UTMOS μ
2.62
RTF 中央
1.18
Chatterbox Multilingual
スペイン語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.708
WER μ
6.9%
UTMOS μ
3.37
RTF 中央
1.22
Fish Audio S2 Pro
スペイン語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.633
WER μ
6.8%
UTMOS μ
2.95
RTF 中央
2.73
Qwen3-TTS Base
スペイン語の参照からの 1.7B bf16 ICL クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.710
WER μ
11.1%
UTMOS μ
3.03
RTF 中央
1.76
中国語の参照

中国語

FLEURS test/cmn_hans_cn/6735471425702786619.wav

参照の書き起こし： 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

生成テキスト： 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice
中国語の参照からの int8 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.709
CER μ
4.9%
UTMOS μ
2.83
RTF 中央
0.21
VoxCPM2
中国語の参照からの bf16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.695
CER μ
4.9%
UTMOS μ
2.91
RTF 中央
1.10
Fish Audio S2 Pro
中国語の参照からの fp16 クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.634
CER μ
6.2%
UTMOS μ
3.55
RTF 中央
2.76
Qwen3-TTS Base
中国語の参照からの 1.7B bf16 ICL クローン。指標は 10 クリップの平均、音声は代表的な 1 サンプルです。
コサイン μ
0.701
CER μ
5.7%
UTMOS μ
3.44
RTF 中央
1.73
方法

手選びのデモではなく、データセットの参照

参照と目標テキストは Google FLEURS のテスト分割から取っています。英語・ドイツ語・アラビア語・スペイン語・北京官話中国語です。各言語で 10 個の参照クリップを選び、それぞれを別の保留 FLEURS 目標文と組み合わせたので、指標は一つの簡単な文や悪い文に左右されにくくなります。参照書き起こしを受け付けるエンジンには、正確な FLEURS 書き起こしを音声プロンプトと一緒に渡しました。

スコアの形は VoxCPM 型の音声クローン評価の客観面を映します。WER/CER による明瞭性と、話者埋め込みのコサイン類似度によるクローンです。ここでの話者エンコーダは Soniqo の speech embed-speaker --engine mlxなので、論文の SIM パーセントと直接比べず、この表の中で行どうしを比べてください。

UTMOS は生成クリップを 16 kHz に再サンプリングした後、SpeechMOS の utmos22_strong で計算します。WER と話者コサインが取り逃す無参照の自然度信号を与えますが、それでも人間の聴取研究ではなくモデルの予測です。

Qwen3-TTS Base は speech-swift の公開 ICL API （Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL）で、同じ FLEURS 参照音声と書き起こしを使って測定します。ここで公開されている Qwen3-TTS の言語セットにアラビア語が含まれないため、アラビア語では省略します。Chatterbox の上流の言語リストには中国語が含まれますが、現在の Swift フロントエンドは直接トークナイザ経路を en、ar、hi、de、es、fr、it、ptにしか対応していません。中国語の行はそのフロントエンドが入るまで意図的に省略します。

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

なぜ複数のスコア？

クローンは話者のように聞こえても誤ったテキストを言うことがあり、テキストは明瞭でも話者を外すことがあります。テキストと話者の両方が合っていても、聞こえるアーティファクトを伴うこともあります。話者コサイン・WER/CER・UTMOS は異なる失敗モードを捉えるので、三つとも見えている必要があります。

感情とスタイルの付与

OmniVoice
大まかなスタイルのヒント

クローン話者に、より穏やか・より若い・より低い・ささやきといった簡単な話し方の指示を与えたいときに向きます。本ベンチマークは中立的な話し方を使いました。

Chatterbox Multilingual
表現力の強さ

同じ話者を、テキストに感情タグを書かずに、より抑えめ・より生き生きと響かせたいときに有用です。本ベンチマークは表現力を中立に保ちました。

VoxCPM2
平易な言葉での声の指示

参照クリップからクローンしつつ、目標の声や話し方を自然言語で記述したいときに強く適合します。本ベンチマークは参照クリップのみを使いました。

Fish Audio S2 Pro
演技的な話し方の合図

笑い・ささやき・興奮・悲しみといった明示的な瞬間を台本が必要とするときに最適です。本ベンチマークは演技の合図なしの素のテキストを使いました。

Qwen3-TTS Base
参照音声 ICL

FLEURS のクリップと書き起こしを文脈条件として使います。表の中でサンプルベースのクローンに対応する Qwen3-TTS 経路です。

本ベンチマークはこれらの制御を意図的に中立のままにします。そうすることで、話者類似度を FLEURS 参照に結び付けたままにし、モデルが余分な感情・ささやき・叫び・笑いを足すことを報いないようにします。

結果の読み方

これはリーダーボードではなく、コンパクトな工学チェックとして扱ってください。言語あたり 10 組の参照/目標ペアは単一のデモ文より有用ですが、普遍的な勝者を戴冠するにはまだ小さすぎます。有用な読み方は、特定の言語と指標に対してモデルが安定か脆弱かということです。

Fish Audio と Qwen3-TTS は、別のモデルの話者コサインが高い場合でも、UTMOS でしばしば高得点です。Qwen3-TTS Base ICL は英語・ドイツ語・スペイン語・中国語に含まれ、今回の実行では自然度/テキスト復元の基準として最も強く、一方で専用クローンモデルは話者同一性で競争力を保ちます。正しい読み方は言語ごとのトレードオフであり、単一の勝者ではありません。

スタックを試す

Speech Studio

声をクローンし、複数話者の台本をあなたのマシンでレンダリングするローカルのデスクトップアプリ。

Speech Studio を開く
Soniqo Cloud

製品に組み込む前に同じ音声スタックをテストするためのホスト型エンドポイント。

cloud.soniqo.audio を開く
音声クローンのドキュメント VoxCPM 評価論文