Benchmarks de clonación de voz

July 2, 2026

Modelos de clonación de voz, medidos en cinco idiomas.

Clonamos diez locutores de referencia de FLEURS por idioma, generamos diez frases objetivo de FLEURS reservadas y luego promediamos la similitud de locutor, WER/CER, la calidad predicha UTMOS y la velocidad en régimen estable. Los reproductores de abajo muestran una referencia representativa y la salida generada de la misma ejecución.

EnglishEspañolDeutsch Français Português Русский 中文日本語 한국어 हिन्दी العربية Tiếng Việt Türkçe ไทย

Inglés

FLEURS test/en_us, 10 pares de referencia/objetivo

Suelo de ASR humano: 3.5% WER sobre el audio objetivo original de FLEURS.

Modelo	Precisión	Coseno	WER	UTMOS	Audio μ	RTF med.
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70

Alemán

FLEURS test/de_de, 10 pares de referencia/objetivo

Suelo de ASR humano: 11.4% WER sobre el audio objetivo original de FLEURS.

Modelo	Precisión	Coseno	WER	UTMOS	Audio μ	RTF med.
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72

Árabe estándar moderno

FLEURS test/ar_eg, 10 pares de referencia/objetivo

Suelo de ASR humano: 32.8% WER sobre el audio objetivo original de FLEURS.

Modelo	Precisión	Coseno	WER	UTMOS	Audio μ	RTF med.
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83

Español

FLEURS test/es_419, 10 pares de referencia/objetivo

Suelo de ASR humano: 10.6% WER sobre el audio objetivo original de FLEURS.

Modelo	Precisión	Coseno	WER	UTMOS	Audio μ	RTF med.
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76

Chino

FLEURS test/cmn_hans_cn, 10 pares de referencia/objetivo

Suelo de ASR humano: 7.6% CER sobre el audio objetivo original de FLEURS.

Modelo	Precisión	Coseno	CER	UTMOS	Audio μ	RTF med.
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73

Los valores son medias sobre diez clips generados por idioma soportado, salvo el RTF, que usa la mediana para evitar valores atípicos por el arranque en frío. Un coseno de locutor más alto significa que el clip generado está más cerca del embedding del locutor de referencia de FLEURS. Un WER/CER más bajo significa que el texto solicitado se recuperó con más limpieza; el chino se puntúa con CER y los demás idiomas con WER. Un UTMOS más alto es una puntuación de naturalidad predicha sin referencia en una escala de 1 a 5. Un RTF más bajo es más rápido. Un guion significa que la ejecución por lotes no produjo un cronometraje fiable para esa fila. Son métricas de regresión de ingeniería, no un panel humano MOS. El mismo evaluador Qwen3-ASR no es igual de limpio en todos los idiomas: sobre los clips objetivo humanos originales de FLEURS de este conjunto, su error base es 3,5% WER en inglés, 11,4% WER en alemán, 32,8% WER en árabe, 10,6% WER en español y 7,6% CER en chino. Lee el WER/CER como una señal de estrés de recuperación de texto, no como una puntuación pura de calidad TTS. La precisión se indica por fila: la ruta Swift pública de precisión completa de VoxCPM2 es bf16, mientras que OmniVoice se muestra con el paquete int8 publicado porque el backbone fp16 no se usó en esta ejecución publicada. Las filas cuantizadas pueden cambiar tanto la calidad como la velocidad, así que la tabla solo incluye la ruta realmente medida en cada fila.

Frecuencias de muestreo de entrada y salida

Fuente	Rol	Frecuencia
FLEURS references	Referencia de entrada	16 kHz
OmniVoice / Chatterbox	Salida generada	24 kHz
Qwen3-TTS Base ICL	Salida generada	24 kHz
Fish Audio S2 Pro	Salida generada	44.1 kHz
VoxCPM2	Salida generada	48 kHz

Las referencias son de 16 kHz, así que solo contienen evidencia observable hasta unos 8 kHz. Las salidas de mayor frecuencia pueden sonar más abiertas porque preservan o sintetizan más respiración de banda alta, sibilancia y detalle de sala, pero una salida a 44,1 o 48 kHz no implica automáticamente un mejor clon. La mayoría de las pistas de identidad e inteligibilidad del locutor viven muy por debajo de esa banda alta, mientras que un exceso de energía en alta frecuencia puede hacer que una voz se sienta afilada aunque el WER y el coseno de locutor se vean bien.

Audio de referencia y clones generados

Referencia en inglés

Inglés

FLEURS test/en_us/6306322369645218273.wav

Transcripción de referencia: One can only wonder what the keyboard will become when something newer comes along.

Texto generado: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

Clon int8 a partir de la referencia en inglés. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF med.

0.17

VoxCPM2

Clon bf16 a partir de la referencia en inglés. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF med.

1.11

Chatterbox Multilingual

Clon fp16 a partir de la referencia en inglés. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF med.

0.76

Fish Audio S2 Pro

Clon fp16 a partir de la referencia en inglés. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF med.

2.78

Qwen3-TTS Base

Clon 1.7B bf16 ICL a partir de la referencia en inglés. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF med.

1.70

Referencia en alemán

Alemán

FLEURS test/de_de/17047810064400454397.wav

Transcripción de referencia: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Texto generado: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

Clon int8 a partir de la referencia en alemán. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF med.

0.22

VoxCPM2

Clon bf16 a partir de la referencia en alemán. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF med.

1.09

Chatterbox Multilingual

Clon fp16 a partir de la referencia en alemán. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF med.

1.20

Fish Audio S2 Pro

Clon fp16 a partir de la referencia en alemán. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF med.

2.80

Qwen3-TTS Base

Clon 1.7B bf16 ICL a partir de la referencia en alemán. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF med.

1.72

Referencia en árabe estándar moderno

Árabe estándar moderno

FLEURS test/ar_eg/747984393569561964.wav

Transcripción de referencia: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Texto generado: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

Clon int8 a partir de la referencia en árabe estándar moderno. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF med.

0.18

VoxCPM2

Clon bf16 a partir de la referencia en árabe estándar moderno. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF med.

1.14

Chatterbox Multilingual

Clon fp16 a partir de la referencia en árabe estándar moderno. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF med.

1.10

Fish Audio S2 Pro

Clon fp16 a partir de la referencia en árabe estándar moderno. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF med.

2.83

Referencia en español

Español

FLEURS test/es_419/11137049735103408221.wav

Transcripción de referencia: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Texto generado: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

Clon int8 a partir de la referencia en español. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF med.

0.21

VoxCPM2

Clon bf16 a partir de la referencia en español. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF med.

1.18

Chatterbox Multilingual

Clon fp16 a partir de la referencia en español. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF med.

1.22

Fish Audio S2 Pro

Clon fp16 a partir de la referencia en español. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF med.

2.73

Qwen3-TTS Base

Clon 1.7B bf16 ICL a partir de la referencia en español. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF med.

1.76

Referencia en chino

Chino

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Transcripción de referencia: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

Texto generado: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

Clon int8 a partir de la referencia en chino. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF med.

0.21

VoxCPM2

Clon bf16 a partir de la referencia en chino. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF med.

1.10

Fish Audio S2 Pro

Clon fp16 a partir de la referencia en chino. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF med.

2.76

Qwen3-TTS Base

Clon 1.7B bf16 ICL a partir de la referencia en chino. Las métricas son medias de diez clips; el audio es una muestra representativa.

Coseno μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF med.

1.73

Método

Referencias del dataset, no demos escogidas a mano

Las referencias y los textos objetivo provienen del split de test de Google FLEURS: inglés, alemán, árabe, español y chino mandarín. Para cada idioma seleccionamos diez clips de referencia y emparejamos cada uno con una frase objetivo distinta y reservada de FLEURS, de modo que las métricas sean menos sensibles a una frase fácil o mala. Para los motores que aceptan una transcripción de referencia, se pasó la transcripción exacta de FLEURS junto con el prompt de audio.

La forma de la puntuación refleja el lado objetivo de la evaluación de clonación de voz estilo VoxCPM: inteligibilidad mediante WER/CER y clonación mediante la similitud coseno del embedding de locutor. El codificador de locutor aquí es el speech embed-speaker --engine mlx de Soniqo, así que compara filas dentro de esta tabla, no directamente contra los porcentajes SIM de los artículos.

El UTMOS se calcula con utmos22_strong de SpeechMOS tras remuestrear los clips generados a 16 kHz. Da una señal de naturalidad sin referencia que el WER y el coseno de locutor pasan por alto, pero sigue siendo una predicción de un modelo, no un estudio de escucha humana.

Qwen3-TTS Base se mide con la API pública de ICL de speech-swift (Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL) usando el mismo audio y transcripción de referencia de FLEURS. Se omite para el árabe porque el conjunto de idiomas de Qwen3-TTS expuesto aquí no incluye el árabe. La lista de idiomas upstream de Chatterbox incluye el chino, pero el frontend Swift actual solo admite la ruta directa de tokenizador para en, ar, hi, de, es, fr, it y pt; la fila del chino se omite a propósito hasta que llegue ese frontend.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

¿Por qué varias puntuaciones?

Un clon puede sonar como el locutor pero decir el texto equivocado, o decir el texto con claridad pero perder al locutor. También puede coincidir en texto y locutor a la vez que arrastra artefactos audibles. El coseno de locutor, el WER/CER y el UTMOS capturan modos de fallo distintos, así que los tres deben estar a la vista.

Atribución de emoción y estilo

OmniVoice

Pistas de estilo amplias

Bueno cuando quieres un locutor clonado con una guía de entrega simple, como una lectura más calmada, más joven, más grave o susurrada. Este benchmark usó una entrega neutra.

Chatterbox Multilingual

Intensidad de expresividad

Útil cuando quieres que el mismo locutor suene más contenido o más animado sin escribir etiquetas de emoción en el texto. Este benchmark mantuvo la expresividad neutra.

VoxCPM2

Dirección de voz en lenguaje llano

Encaja bien cuando quieres describir la voz o la entrega objetivo en lenguaje natural sin dejar de clonar desde un clip de referencia. Este benchmark usó solo el clip de referencia.

Fish Audio S2 Pro

Indicaciones de entrega actuada

Lo mejor cuando el guion necesita momentos explícitos como risa, susurro, emoción o tristeza. Este benchmark usó texto plano sin indicaciones de actuación.

Qwen3-TTS Base

ICL con audio de referencia

Usa el clip y la transcripción de FLEURS como condicionamiento en contexto. Es la ruta comparable de Qwen3-TTS para clonación basada en muestras en la tabla.

El benchmark deja a propósito estos controles en neutro. Eso mantiene la similitud de locutor atada a la referencia de FLEURS en lugar de premiar a un modelo por añadir emoción extra, susurros, gritos o risas.

Cómo leer el resultado

Tómalo como una comprobación de ingeniería compacta, no como una tabla de clasificación. Diez pares de referencia/objetivo por idioma son más útiles que una sola frase de demo, pero siguen siendo demasiado pocos para coronar a un ganador universal. La lectura útil es dónde un modelo es estable o frágil para un idioma y una métrica concretos.

Fish Audio y Qwen3-TTS a menudo puntúan mejor en UTMOS aunque otro modelo tenga un coseno de locutor más alto. Qwen3-TTS Base ICL se incluye para inglés, alemán, español y chino; en esta ejecución es más fuerte como base de naturalidad/recuperación de texto, mientras que los modelos de clonación dedicados siguen siendo competitivos en identidad de locutor. La lectura correcta son los compromisos por idioma, no un único ganador.

Prueba el stack

Speech Studio

App de escritorio local para clonar voces y renderizar guiones multi-locutor en tu máquina.

Abrir Speech Studio

Soniqo Cloud

Endpoint alojado para probar el mismo stack de voz antes de integrarlo en un producto.

Abrir cloud.soniqo.audio

Documentación de clonación de voz Artículo de evaluación de VoxCPM