Benchmarks de clonagem de voz

July 2, 2026

Modelos de clonagem de voz, medidos em cinco idiomas.

Clonamos dez locutores de referência do FLEURS por idioma, geramos dez frases-alvo reservadas do FLEURS e então calculamos a média da similaridade de locutor, WER/CER, a qualidade prevista UTMOS e a velocidade em regime estável. Os players abaixo mostram uma referência representativa e a saída gerada da mesma execução.

English Español Deutsch FrançaisPortuguêsРусский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Inglês

FLEURS test/en_us, 10 pares de referência/alvo

Piso de ASR humano: 3.5% WER no áudio-alvo original do FLEURS.

Modelo	Precisão	Cosseno	WER	UTMOS	Áudio μ	RTF med.
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70

Alemão

FLEURS test/de_de, 10 pares de referência/alvo

Piso de ASR humano: 11.4% WER no áudio-alvo original do FLEURS.

Modelo	Precisão	Cosseno	WER	UTMOS	Áudio μ	RTF med.
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72

Árabe padrão moderno

FLEURS test/ar_eg, 10 pares de referência/alvo

Piso de ASR humano: 32.8% WER no áudio-alvo original do FLEURS.

Modelo	Precisão	Cosseno	WER	UTMOS	Áudio μ	RTF med.
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83

Espanhol

FLEURS test/es_419, 10 pares de referência/alvo

Piso de ASR humano: 10.6% WER no áudio-alvo original do FLEURS.

Modelo	Precisão	Cosseno	WER	UTMOS	Áudio μ	RTF med.
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76

Chinês

FLEURS test/cmn_hans_cn, 10 pares de referência/alvo

Piso de ASR humano: 7.6% CER no áudio-alvo original do FLEURS.

Modelo	Precisão	Cosseno	CER	UTMOS	Áudio μ	RTF med.
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73

Os valores são médias sobre dez clipes gerados por idioma suportado, exceto o RTF, que usa a mediana para evitar outliers de tempo por partida a frio. Um cosseno de locutor mais alto significa que o clipe gerado está mais próximo do embedding do locutor de referência do FLEURS. Um WER/CER mais baixo significa que o texto solicitado foi recuperado com mais limpeza; o chinês é pontuado com CER e os demais idiomas com WER. Um UTMOS mais alto é uma pontuação de naturalidade prevista sem referência numa escala de 1 a 5. Um RTF mais baixo é mais rápido. Um traço significa que a execução em lote não produziu tempo confiável para aquela linha. São métricas de regressão de engenharia, não um painel humano MOS. O mesmo avaliador Qwen3-ASR não é igualmente limpo em todos os idiomas: nos clipes-alvo humanos originais do FLEURS deste conjunto, seu erro base é 3,5% WER em inglês, 11,4% WER em alemão, 32,8% WER em árabe, 10,6% WER em espanhol e 7,6% CER em chinês. Leia o WER/CER como um sinal de estresse de recuperação de texto, não como uma pontuação pura de qualidade TTS. A precisão é listada por linha: o caminho Swift público de precisão completa do VoxCPM2 é bf16, enquanto o OmniVoice é mostrado com o pacote int8 publicado porque o backbone fp16 não foi usado nesta execução publicada. Linhas quantizadas podem mudar tanto a qualidade quanto a velocidade, então a tabela só inclui o caminho realmente medido em cada linha.

Taxas de amostragem de entrada e saída

Fonte	Papel	Taxa
FLEURS references	Referência de entrada	16 kHz
OmniVoice / Chatterbox	Saída gerada	24 kHz
Qwen3-TTS Base ICL	Saída gerada	24 kHz
Fish Audio S2 Pro	Saída gerada	44.1 kHz
VoxCPM2	Saída gerada	48 kHz

As referências são de 16 kHz, então só contêm evidência observável até cerca de 8 kHz. Saídas de taxa mais alta podem soar mais abertas porque preservam ou sintetizam mais respiração de banda alta, sibilância e detalhe de sala, mas uma saída a 44,1 ou 48 kHz não significa automaticamente um clone melhor. A maioria das pistas de identidade e inteligibilidade do locutor vive bem abaixo dessa banda alta, enquanto energia excessiva de alta frequência pode fazer uma voz parecer afiada mesmo quando o WER e o cosseno de locutor parecem bons.

Áudio de referência e clones gerados

Referência em inglês

Inglês

FLEURS test/en_us/6306322369645218273.wav

Transcrição de referência: One can only wonder what the keyboard will become when something newer comes along.

Texto gerado: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

Clone int8 a partir da referência em inglês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF med.

0.17

VoxCPM2

Clone bf16 a partir da referência em inglês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF med.

1.11

Chatterbox Multilingual

Clone fp16 a partir da referência em inglês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF med.

0.76

Fish Audio S2 Pro

Clone fp16 a partir da referência em inglês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF med.

2.78

Qwen3-TTS Base

Clone 1.7B bf16 ICL a partir da referência em inglês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF med.

1.70

Referência em alemão

Alemão

FLEURS test/de_de/17047810064400454397.wav

Transcrição de referência: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Texto gerado: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

Clone int8 a partir da referência em alemão. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF med.

0.22

VoxCPM2

Clone bf16 a partir da referência em alemão. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF med.

1.09

Chatterbox Multilingual

Clone fp16 a partir da referência em alemão. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF med.

1.20

Fish Audio S2 Pro

Clone fp16 a partir da referência em alemão. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF med.

2.80

Qwen3-TTS Base

Clone 1.7B bf16 ICL a partir da referência em alemão. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF med.

1.72

Referência em árabe padrão moderno

Árabe padrão moderno

FLEURS test/ar_eg/747984393569561964.wav

Transcrição de referência: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Texto gerado: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

Clone int8 a partir da referência em árabe padrão moderno. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF med.

0.18

VoxCPM2

Clone bf16 a partir da referência em árabe padrão moderno. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF med.

1.14

Chatterbox Multilingual

Clone fp16 a partir da referência em árabe padrão moderno. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF med.

1.10

Fish Audio S2 Pro

Clone fp16 a partir da referência em árabe padrão moderno. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF med.

2.83

Referência em espanhol

Espanhol

FLEURS test/es_419/11137049735103408221.wav

Transcrição de referência: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Texto gerado: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

Clone int8 a partir da referência em espanhol. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF med.

0.21

VoxCPM2

Clone bf16 a partir da referência em espanhol. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF med.

1.18

Chatterbox Multilingual

Clone fp16 a partir da referência em espanhol. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF med.

1.22

Fish Audio S2 Pro

Clone fp16 a partir da referência em espanhol. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF med.

2.73

Qwen3-TTS Base

Clone 1.7B bf16 ICL a partir da referência em espanhol. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF med.

1.76

Referência em chinês

Chinês

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Transcrição de referência: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

Texto gerado: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

Clone int8 a partir da referência em chinês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF med.

0.21

VoxCPM2

Clone bf16 a partir da referência em chinês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF med.

1.10

Fish Audio S2 Pro

Clone fp16 a partir da referência em chinês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF med.

2.76

Qwen3-TTS Base

Clone 1.7B bf16 ICL a partir da referência em chinês. As métricas são médias de dez clipes; o áudio é uma amostra representativa.

Cosseno μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF med.

1.73

Método

Referências do dataset, não demos escolhidas a dedo

Referências e textos-alvo vêm do split de teste do Google FLEURS: inglês, alemão, árabe, espanhol e chinês mandarim. Para cada idioma selecionamos dez clipes de referência e pareamos cada um com uma frase-alvo reservada diferente do FLEURS, para que as métricas sejam menos sensíveis a uma frase fácil ou ruim. Para motores que aceitam uma transcrição de referência, a transcrição exata do FLEURS foi passada com o prompt de áudio.

O formato da pontuação espelha o lado objetivo da avaliação de clonagem de voz no estilo VoxCPM: inteligibilidade via WER/CER e clonagem via similaridade de cosseno do embedding de locutor. O codificador de locutor aqui é o speech embed-speaker --engine mlx da Soniqo, então compare linhas dentro desta tabela, não diretamente contra os percentuais SIM de artigos.

O UTMOS é calculado com utmos22_strong do SpeechMOS após reamostrar os clipes gerados para 16 kHz. Dá um sinal de naturalidade sem referência que o WER e o cosseno de locutor perdem, mas ainda é uma previsão de modelo, não um estudo de escuta humana.

O Qwen3-TTS Base é medido com a API ICL pública do speech-swift (Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL) usando o mesmo áudio e transcrição de referência do FLEURS. É omitido para o árabe porque o conjunto de idiomas do Qwen3-TTS exposto aqui não inclui o árabe. A lista de idiomas upstream do Chatterbox inclui o chinês, mas o frontend Swift atual só suporta o caminho direto de tokenizador para en, ar, hi, de, es, fr, it e pt; a linha do chinês é omitida de propósito até esse frontend chegar.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

Por que várias pontuações?

Um clone pode soar como o locutor mas dizer o texto errado, ou dizer o texto com clareza mas perder o locutor. Também pode acertar o texto e o locutor enquanto carrega artefatos audíveis. Cosseno de locutor, WER/CER e UTMOS capturam modos de falha diferentes, então os três precisam estar visíveis.

Atribuição de emoção e estilo

OmniVoice

Dicas amplas de estilo

Bom quando você quer um locutor clonado com orientação de entrega simples, como uma leitura mais calma, mais jovem, mais grave ou sussurrada. Este benchmark usou uma entrega neutra.

Chatterbox Multilingual

Intensidade de expressividade

Útil quando você quer que o mesmo locutor soe mais contido ou mais animado sem escrever tags de emoção no texto. Este benchmark manteve a expressividade neutra.

VoxCPM2

Direção de voz em linguagem simples

Encaixa bem quando você quer descrever a voz ou a entrega-alvo em linguagem natural enquanto ainda clona a partir de um clipe de referência. Este benchmark usou apenas o clipe de referência.

Fish Audio S2 Pro

Deixas de entrega atuada

Melhor quando o roteiro precisa de momentos explícitos como rir, sussurrar, empolgação ou tristeza. Este benchmark usou texto simples sem deixas de atuação.

Qwen3-TTS Base

ICL com áudio de referência

Usa o clipe e a transcrição do FLEURS como condicionamento em contexto. É o caminho comparável do Qwen3-TTS para clonagem baseada em amostra na tabela.

O benchmark deixa de propósito esses controles em neutro. Isso mantém a similaridade de locutor atada à referência do FLEURS em vez de premiar um modelo por adicionar emoção extra, sussurro, grito ou riso.

Lendo o resultado

Trate isto como uma checagem de engenharia compacta, não como um ranking. Dez pares de referência/alvo por idioma são mais úteis que uma única frase de demo, mas ainda pequenos demais para coroar um vencedor universal. A leitura útil é onde um modelo é estável ou frágil para um idioma e uma métrica específicos.

Fish Audio e Qwen3-TTS muitas vezes pontuam melhor no UTMOS mesmo quando outro modelo tem um cosseno de locutor mais alto. O Qwen3-TTS Base ICL é incluído para inglês, alemão, espanhol e chinês; nesta execução é mais forte como base de naturalidade/recuperação de texto, enquanto modelos de clonagem dedicados seguem competitivos na identidade de locutor. A leitura certa são os compromissos por idioma, não um único vencedor.

Experimente o stack

Speech Studio

App de desktop local para clonar vozes e renderizar roteiros multi-locutor na sua máquina.

Abrir Speech Studio

Soniqo Cloud

Endpoint hospedado para testar o mesmo stack de voz antes de integrá-lo a um produto.

Abrir cloud.soniqo.audio

Docs de clonagem de voz Artigo de avaliação do VoxCPM