음성 클로닝 벤치마크

July 2, 2026

음성 클로닝 모델을 다섯 언어에서 실측하다.

언어마다 열 명의 FLEURS 참조 화자를 클로닝하고, 남겨 둔 열 개의 FLEURS 목표 문장을 생성한 뒤 화자 유사도, WER/CER, UTMOS 예측 품질, 정상 상태 속도를 평균했습니다. 아래 플레이어는 같은 실행에서 나온 대표 참조와 생성 출력을 보여줍니다.

English Español Deutsch Français Português Русский 中文日本語한국어हिन्दी العربية Tiếng Việt Türkçe ไทย

영어

FLEURS test/en_us, 참조/목표 쌍 10개

인간 ASR 하한: 원본 FLEURS 목표 오디오에서 3.5% WER.

모델	정밀도	코사인	WER	UTMOS	오디오 μ	RTF 중앙
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70

독일어

FLEURS test/de_de, 참조/목표 쌍 10개

인간 ASR 하한: 원본 FLEURS 목표 오디오에서 11.4% WER.

모델	정밀도	코사인	WER	UTMOS	오디오 μ	RTF 중앙
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72

현대 표준 아랍어

FLEURS test/ar_eg, 참조/목표 쌍 10개

인간 ASR 하한: 원본 FLEURS 목표 오디오에서 32.8% WER.

모델	정밀도	코사인	WER	UTMOS	오디오 μ	RTF 중앙
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83

스페인어

FLEURS test/es_419, 참조/목표 쌍 10개

인간 ASR 하한: 원본 FLEURS 목표 오디오에서 10.6% WER.

모델	정밀도	코사인	WER	UTMOS	오디오 μ	RTF 중앙
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76

중국어

FLEURS test/cmn_hans_cn, 참조/목표 쌍 10개

인간 ASR 하한: 원본 FLEURS 목표 오디오에서 7.6% CER.

모델	정밀도	코사인	CER	UTMOS	오디오 μ	RTF 중앙
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73

값은 지원 언어마다 생성 10개 클립의 평균이며, RTF만은 콜드 스타트 계측 이상치를 피하려고 중앙값을 씁니다. 화자 코사인이 높을수록 생성 클립이 FLEURS 참조 화자 임베딩에 더 가깝다는 뜻입니다. WER/CER이 낮을수록 요청한 텍스트가 더 깨끗하게 복원되었다는 뜻이며, 중국어는 CER, 다른 언어는 WER로 채점합니다. UTMOS가 높을수록 1–5 척도의 무참조 예측 자연성 점수입니다. RTF는 낮을수록 빠릅니다. 대시는 배치 실행이 해당 행에 신뢰할 만한 계측을 내지 못했다는 뜻입니다. 이는 공학적 회귀 지표이지 인간 MOS 패널이 아닙니다. 같은 Qwen3-ASR 채점기는 모든 언어에서 똑같이 깨끗하지 않습니다. 이 세트의 원본 인간 FLEURS 목표 클립에서 기준 오류는 영어 3.5% WER, 독일어 11.4% WER, 아랍어 32.8% WER, 스페인어 10.6% WER, 중국어 7.6% CER입니다. WER/CER은 순수한 TTS 품질 점수가 아니라 텍스트 복원 부하 신호로 읽으세요. 정밀도는 행별로 표기합니다. VoxCPM2의 공개 완전 정밀 Swift 경로는 bf16이고, OmniVoice는 이번 공개 실행에서 fp16 백본을 쓰지 않았기 때문에 공개된 int8 번들로 보여 줍니다. 양자화 행은 품질과 속도를 모두 바꿀 수 있으므로 표에는 각 행에서 실제로 측정한 경로만 포함합니다.

입력과 출력 샘플레이트

소스	역할	레이트
FLEURS references	입력 참조	16 kHz
OmniVoice / Chatterbox	생성 출력	24 kHz
Qwen3-TTS Base ICL	생성 출력	24 kHz
Fish Audio S2 Pro	생성 출력	44.1 kHz
VoxCPM2	생성 출력	48 kHz

참조는 16 kHz라 관측 가능한 근거를 대략 8 kHz까지만 담습니다. 더 높은 레이트의 출력은 고대역의 숨소리, 치찰음, 공간 디테일을 더 보존하거나 합성해 더 열린 소리로 들릴 수 있지만, 44.1 또는 48 kHz 출력이 자동으로 더 나은 클론을 뜻하지는 않습니다. 화자 정체성과 명료도 단서 대부분은 그 고대역보다 훨씬 아래에 있고, 반대로 과도한 고주파 에너지는 WER과 화자 코사인이 좋아 보여도 목소리를 날카롭게 느끼게 할 수 있습니다.

참조 오디오와 생성 클론

영어 참조

영어

FLEURS test/en_us/6306322369645218273.wav

참조 전사: One can only wonder what the keyboard will become when something newer comes along.

생성 텍스트: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

영어 참조로부터의 int8 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF 중앙

0.17

VoxCPM2

영어 참조로부터의 bf16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF 중앙

1.11

Chatterbox Multilingual

영어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF 중앙

0.76

Fish Audio S2 Pro

영어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF 중앙

2.78

Qwen3-TTS Base

영어 참조로부터의 1.7B bf16 ICL 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF 중앙

1.70

독일어 참조

독일어

FLEURS test/de_de/17047810064400454397.wav

참조 전사: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

생성 텍스트: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

독일어 참조로부터의 int8 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF 중앙

0.22

VoxCPM2

독일어 참조로부터의 bf16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF 중앙

1.09

Chatterbox Multilingual

독일어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF 중앙

1.20

Fish Audio S2 Pro

독일어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF 중앙

2.80

Qwen3-TTS Base

독일어 참조로부터의 1.7B bf16 ICL 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF 중앙

1.72

현대 표준 아랍어 참조

현대 표준 아랍어

FLEURS test/ar_eg/747984393569561964.wav

참조 전사: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

생성 텍스트: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

현대 표준 아랍어 참조로부터의 int8 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF 중앙

0.18

VoxCPM2

현대 표준 아랍어 참조로부터의 bf16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF 중앙

1.14

Chatterbox Multilingual

현대 표준 아랍어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF 중앙

1.10

Fish Audio S2 Pro

현대 표준 아랍어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF 중앙

2.83

스페인어 참조

스페인어

FLEURS test/es_419/11137049735103408221.wav

참조 전사: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

생성 텍스트: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

스페인어 참조로부터의 int8 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF 중앙

0.21

VoxCPM2

스페인어 참조로부터의 bf16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF 중앙

1.18

Chatterbox Multilingual

스페인어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF 중앙

1.22

Fish Audio S2 Pro

스페인어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF 중앙

2.73

Qwen3-TTS Base

스페인어 참조로부터의 1.7B bf16 ICL 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF 중앙

1.76

중국어 참조

중국어

FLEURS test/cmn_hans_cn/6735471425702786619.wav

참조 전사: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

생성 텍스트: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

중국어 참조로부터의 int8 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF 중앙

0.21

VoxCPM2

중국어 참조로부터의 bf16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF 중앙

1.10

Fish Audio S2 Pro

중국어 참조로부터의 fp16 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF 중앙

2.76

Qwen3-TTS Base

중국어 참조로부터의 1.7B bf16 ICL 클론. 지표는 10개 클립 평균이며, 오디오는 대표 샘플 하나입니다.

코사인 μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF 중앙

1.73

방법

손으로 고른 데모가 아니라 데이터셋 참조

참조와 목표 텍스트는 Google FLEURS 테스트 분할에서 왔습니다: 영어, 독일어, 아랍어, 스페인어, 표준 중국어. 각 언어마다 참조 클립 열 개를 골라 각각을 서로 다른 남겨 둔 FLEURS 목표 문장과 짝지어, 지표가 쉬운 문장 하나나 나쁜 문장 하나에 덜 민감하도록 했습니다. 참조 전사를 받는 엔진에는 정확한 FLEURS 전사를 오디오 프롬프트와 함께 넘겼습니다.

점수의 형태는 VoxCPM 방식 음성 클로닝 평가의 객관적 측면을 반영합니다: WER/CER을 통한 명료도, 화자 임베딩 코사인 유사도를 통한 클로닝. 여기서 화자 인코더는 Soniqo의 speech embed-speaker --engine mlx이므로, 논문의 SIM 퍼센트와 직접 비교하지 말고 이 표 안에서 행끼리 비교하세요.

UTMOS는 생성 클립을 16 kHz로 리샘플링한 뒤 SpeechMOS의 utmos22_strong으로 계산합니다. WER과 화자 코사인이 놓치는 무참조 자연성 신호를 주지만, 여전히 인간 청취 연구가 아니라 모델 예측입니다.

Qwen3-TTS Base는 speech-swift의 공개 ICL API （Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL）로 같은 FLEURS 참조 오디오와 전사를 써서 측정합니다. 여기 노출된 Qwen3-TTS 언어 집합에 아랍어가 없어 아랍어에서는 생략합니다. Chatterbox의 업스트림 언어 목록에는 중국어가 있지만, 현재 Swift 프론트엔드는 직접 토크나이저 경로를 en, ar, hi, de, es, fr, it, pt에만 지원합니다. 중국어 행은 그 프론트엔드가 들어올 때까지 의도적으로 생략합니다.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

왜 여러 점수인가?

클론은 화자처럼 들리면서도 텍스트를 틀리게 말할 수 있고, 텍스트를 또렷이 말하면서 화자를 놓칠 수 있습니다. 텍스트와 화자를 모두 맞히면서도 들리는 아티팩트를 지닐 수도 있습니다. 화자 코사인, WER/CER, UTMOS는 서로 다른 실패 양상을 잡으므로 셋 다 보여야 합니다.

감정과 스타일 부여

OmniVoice

넓은 스타일 힌트

클론 화자에게 더 차분하게, 더 젊게, 더 낮게, 또는 속삭이듯 같은 간단한 전달 지침을 주고 싶을 때 좋습니다. 이 벤치마크는 중립적 전달을 썼습니다.

Chatterbox Multilingual

표현력 강도

텍스트에 감정 태그를 쓰지 않고 같은 화자를 더 절제되거나 더 생동감 있게 들리게 하고 싶을 때 유용합니다. 이 벤치마크는 표현력을 중립으로 유지했습니다.

VoxCPM2

평이한 말로 목소리 지시

참조 클립에서 클로닝하면서 목표 목소리나 전달을 자연어로 묘사하고 싶을 때 잘 맞습니다. 이 벤치마크는 참조 클립만 썼습니다.

Fish Audio S2 Pro

연기적 전달 큐

대본에 웃음, 속삭임, 흥분, 슬픔 같은 명시적 순간이 필요할 때 최적입니다. 이 벤치마크는 연기 큐 없는 평문을 썼습니다.

Qwen3-TTS Base

참조 오디오 ICL

FLEURS 클립과 전사를 문맥 조건으로 씁니다. 표에서 샘플 기반 클로닝에 해당하는 비교 가능한 Qwen3-TTS 경로입니다.

이 벤치마크는 이 제어들을 의도적으로 중립으로 둡니다. 그래야 화자 유사도가 FLEURS 참조에 묶인 채로 유지되고, 모델이 여분의 감정, 속삭임, 외침, 웃음을 더한다고 보상받지 않습니다.

결과 읽기

이것을 리더보드가 아니라 간결한 공학 점검으로 다루세요. 언어당 참조/목표 쌍 열 개는 데모 문장 하나보다 유용하지만, 보편적 승자를 씌우기에는 여전히 너무 적습니다. 유용한 독법은 특정 언어와 지표에서 모델이 안정적인지 취약한지입니다.

Fish Audio와 Qwen3-TTS는 다른 모델의 화자 코사인이 더 높을 때에도 UTMOS에서 더 좋은 점수를 내는 경우가 많습니다. Qwen3-TTS Base ICL은 영어, 독일어, 스페인어, 중국어에 포함되며, 이번 실행에서는 자연성/텍스트 복원 기준으로 가장 강하고, 전용 클로닝 모델은 화자 정체성에서 여전히 경쟁력이 있습니다. 올바른 독법은 단일 승자가 아니라 언어별 트레이드오프입니다.

스택 사용해 보기

Speech Studio

당신의 기기에서 목소리를 클로닝하고 다화자 대본을 렌더링하는 로컬 데스크톱 앱.

Speech Studio 열기

Soniqo Cloud

제품에 연결하기 전에 같은 음성 스택을 테스트할 수 있는 호스팅 엔드포인트.

cloud.soniqo.audio 열기

음성 클로닝 문서 VoxCPM 평가 논문