Benchmark nhân bản giọng nói

July 2, 2026

Các mô hình nhân bản giọng nói, đo trên năm ngôn ngữ.

Chúng tôi nhân bản mười người nói tham chiếu FLEURS mỗi ngôn ngữ, tạo mười câu mục tiêu FLEURS giữ lại, rồi lấy trung bình độ tương đồng người nói, WER/CER, chất lượng UTMOS dự đoán và tốc độ ở trạng thái ổn định. Các trình phát bên dưới hiển thị một tham chiếu tiêu biểu và đầu ra sinh ra từ cùng một lần chạy.

English Español Deutsch Français Português Русский 中文日本語 한국어 हिन्दी العربيةTiếng ViệtTürkçe ไทย

Tiếng Anh

FLEURS test/en_us, 10 cặp tham chiếu/mục tiêu

Sàn ASR của con người: 3.5% WER trên âm thanh mục tiêu FLEURS gốc.

Mô hình	Độ chính xác	Cosine	WER	UTMOS	Âm thanh μ	RTF tr.vị
OmniVoice	int8	0.513	11.1%	2.32	5.20 s	0.17
VoxCPM2	bf16	0.547	1.8%	2.97	4.88 s	1.11
Chatterbox Multilingual	fp16	0.642	1.2%	2.22	5.10 s	0.76
Fish Audio S2 Pro	fp16	0.489	3.9%	3.47	4.60 s	2.78
Qwen3-TTS Base	1.7B bf16 ICL	0.491	2.4%	3.50	4.95 s	1.70

Tiếng Đức

FLEURS test/de_de, 10 cặp tham chiếu/mục tiêu

Sàn ASR của con người: 11.4% WER trên âm thanh mục tiêu FLEURS gốc.

Mô hình	Độ chính xác	Cosine	WER	UTMOS	Âm thanh μ	RTF tr.vị
OmniVoice	int8	0.787	4.3%	2.89	6.57 s	0.22
VoxCPM2	bf16	0.732	3.8%	2.80	5.76 s	1.09
Chatterbox Multilingual	fp16	0.778	5.2%	3.32	6.12 s	1.20
Fish Audio S2 Pro	fp16	0.718	7.0%	3.34	5.66 s	2.80
Qwen3-TTS Base	1.7B bf16 ICL	0.721	10.8%	3.34	5.79 s	1.72

Tiếng Ả Rập chuẩn hiện đại

FLEURS test/ar_eg, 10 cặp tham chiếu/mục tiêu

Sàn ASR của con người: 32.8% WER trên âm thanh mục tiêu FLEURS gốc.

Mô hình	Độ chính xác	Cosine	WER	UTMOS	Âm thanh μ	RTF tr.vị
OmniVoice	int8	0.727	33.2%	2.72	7.04 s	0.18
VoxCPM2	bf16	0.678	30.2%	2.67	6.26 s	1.14
Chatterbox Multilingual	fp16	0.703	28.3%	2.90	6.37 s	1.10
Fish Audio S2 Pro	fp16	0.688	26.7%	3.30	5.63 s	2.83

Tiếng Tây Ban Nha

FLEURS test/es_419, 10 cặp tham chiếu/mục tiêu

Sàn ASR của con người: 10.6% WER trên âm thanh mục tiêu FLEURS gốc.

Mô hình	Độ chính xác	Cosine	WER	UTMOS	Âm thanh μ	RTF tr.vị
OmniVoice	int8	0.758	9.9%	2.86	6.29 s	0.21
VoxCPM2	bf16	0.641	5.8%	2.62	4.58 s	1.18
Chatterbox Multilingual	fp16	0.708	6.9%	3.37	5.08 s	1.22
Fish Audio S2 Pro	fp16	0.633	6.8%	2.95	4.48 s	2.73
Qwen3-TTS Base	1.7B bf16 ICL	0.710	11.1%	3.03	4.79 s	1.76

Tiếng Trung

FLEURS test/cmn_hans_cn, 10 cặp tham chiếu/mục tiêu

Sàn ASR của con người: 7.6% CER trên âm thanh mục tiêu FLEURS gốc.

Mô hình	Độ chính xác	Cosine	CER	UTMOS	Âm thanh μ	RTF tr.vị
OmniVoice	int8	0.709	4.9%	2.83	6.56 s	0.21
VoxCPM2	bf16	0.695	4.9%	2.91	5.70 s	1.10
Fish Audio S2 Pro	fp16	0.634	6.2%	3.55	4.95 s	2.76
Qwen3-TTS Base	1.7B bf16 ICL	0.701	5.7%	3.44	5.24 s	1.73

Các giá trị là trung bình trên mười clip sinh ra mỗi ngôn ngữ được hỗ trợ, trừ RTF dùng trung vị để tránh ngoại lệ về thời gian do khởi động nguội. Cosine người nói càng cao nghĩa là clip sinh ra càng gần embedding người nói tham chiếu FLEURS. WER/CER càng thấp nghĩa là văn bản yêu cầu được khôi phục sạch hơn; tiếng Trung chấm bằng CER, các ngôn ngữ khác bằng WER. UTMOS càng cao là điểm tự nhiên dự đoán không tham chiếu trên thang 1–5. RTF càng thấp càng nhanh. Dấu gạch ngang nghĩa là lần chạy theo lô không tạo được thời gian đáng tin cho hàng đó. Đây là các chỉ số hồi quy kỹ thuật, không phải hội đồng MOS con người. Cùng một bộ chấm Qwen3-ASR không sạch như nhau ở mọi ngôn ngữ: trên các clip mục tiêu FLEURS của con người gốc trong tập này, lỗi cơ sở của nó là 3,5% WER tiếng Anh, 11,4% WER tiếng Đức, 32,8% WER tiếng Ả Rập, 10,6% WER tiếng Tây Ban Nha và 7,6% CER tiếng Trung. Hãy đọc WER/CER như tín hiệu áp lực khôi phục văn bản, không phải điểm chất lượng TTS thuần túy. Độ chính xác liệt kê theo từng hàng: đường Swift công khai đầy đủ độ chính xác của VoxCPM2 là bf16, còn OmniVoice được hiển thị với gói int8 đã công bố vì backbone fp16 không được dùng cho lần chạy công bố này. Các hàng lượng tử hóa có thể thay đổi cả chất lượng lẫn tốc độ, nên bảng chỉ gồm đường thực sự được đo cho từng hàng.

Tần số lấy mẫu đầu vào và đầu ra

Nguồn	Vai trò	Tần số
FLEURS references	Tham chiếu đầu vào	16 kHz
OmniVoice / Chatterbox	Đầu ra sinh ra	24 kHz
Qwen3-TTS Base ICL	Đầu ra sinh ra	24 kHz
Fish Audio S2 Pro	Đầu ra sinh ra	44.1 kHz
VoxCPM2	Đầu ra sinh ra	48 kHz

Các tham chiếu là 16 kHz, nên chỉ chứa bằng chứng quan sát được đến khoảng 8 kHz. Đầu ra tần số cao hơn có thể nghe mở hơn vì bảo toàn hoặc tổng hợp nhiều hơi thở dải cao, âm xuýt và chi tiết phòng, nhưng đầu ra 44,1 hay 48 kHz không tự động nghĩa là bản nhân bản tốt hơn. Hầu hết manh mối về danh tính người nói và độ dễ hiểu nằm thấp hơn nhiều so với dải cao đó, trong khi năng lượng tần số cao quá mức có thể khiến giọng nghe gắt ngay cả khi WER và cosine người nói trông tốt.

Âm thanh tham chiếu và bản nhân bản sinh ra

Tham chiếu Tiếng Anh

Tiếng Anh

FLEURS test/en_us/6306322369645218273.wav

Bản ghi tham chiếu: One can only wonder what the keyboard will become when something newer comes along.

Văn bản sinh ra: While he was working at the hospital Liggins began to investigate premature labor during his spare time.

OmniVoice

Bản nhân bản int8 từ tham chiếu Tiếng Anh. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.513

WER μ

11.1%

UTMOS μ

2.32

RTF tr.vị

0.17

VoxCPM2

Bản nhân bản bf16 từ tham chiếu Tiếng Anh. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.547

WER μ

1.8%

UTMOS μ

2.97

RTF tr.vị

1.11

Chatterbox Multilingual

Bản nhân bản fp16 từ tham chiếu Tiếng Anh. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.642

WER μ

1.2%

UTMOS μ

2.22

RTF tr.vị

0.76

Fish Audio S2 Pro

Bản nhân bản fp16 từ tham chiếu Tiếng Anh. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.489

WER μ

3.9%

UTMOS μ

3.47

RTF tr.vị

2.78

Qwen3-TTS Base

Bản nhân bản 1.7B bf16 ICL từ tham chiếu Tiếng Anh. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.491

WER μ

2.4%

UTMOS μ

3.50

RTF tr.vị

1.70

Tham chiếu Tiếng Đức

Tiếng Đức

FLEURS test/de_de/17047810064400454397.wav

Bản ghi tham chiếu: Wenn man eine romanische Sprache spricht, ist es natürlich leichter, Portugiesisch zu erlernen.

Văn bản sinh ra: Die Oberfläche des Mondes besteht aus Gestein und Staub. Die äußere Schicht des Mondes wird als Kruste bezeichnet.

OmniVoice

Bản nhân bản int8 từ tham chiếu Tiếng Đức. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.787

WER μ

4.3%

UTMOS μ

2.89

RTF tr.vị

0.22

VoxCPM2

Bản nhân bản bf16 từ tham chiếu Tiếng Đức. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.732

WER μ

3.8%

UTMOS μ

2.80

RTF tr.vị

1.09

Chatterbox Multilingual

Bản nhân bản fp16 từ tham chiếu Tiếng Đức. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.778

WER μ

5.2%

UTMOS μ

3.32

RTF tr.vị

1.20

Fish Audio S2 Pro

Bản nhân bản fp16 từ tham chiếu Tiếng Đức. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.718

WER μ

7.0%

UTMOS μ

3.34

RTF tr.vị

2.80

Qwen3-TTS Base

Bản nhân bản 1.7B bf16 ICL từ tham chiếu Tiếng Đức. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.721

WER μ

10.8%

UTMOS μ

3.34

RTF tr.vị

1.72

Tham chiếu Tiếng Ả Rập chuẩn hiện đại

Tiếng Ả Rập chuẩn hiện đại

FLEURS test/ar_eg/747984393569561964.wav

Bản ghi tham chiếu: المناطق الكبيرة في الشمال هي مناطق قليلة السكان نوعا ما والبعض غير مأهول تقريبا.

Văn bản sinh ra: قامت فرقة إيروشميث بإلغاء باقي حفلاتهم في جولتهم الموسيقية.

OmniVoice

Bản nhân bản int8 từ tham chiếu Tiếng Ả Rập chuẩn hiện đại. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.727

WER μ

33.2%

UTMOS μ

2.72

RTF tr.vị

0.18

VoxCPM2

Bản nhân bản bf16 từ tham chiếu Tiếng Ả Rập chuẩn hiện đại. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.678

WER μ

30.2%

UTMOS μ

2.67

RTF tr.vị

1.14

Chatterbox Multilingual

Bản nhân bản fp16 từ tham chiếu Tiếng Ả Rập chuẩn hiện đại. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.703

WER μ

28.3%

UTMOS μ

2.90

RTF tr.vị

1.10

Fish Audio S2 Pro

Bản nhân bản fp16 từ tham chiếu Tiếng Ả Rập chuẩn hiện đại. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.688

WER μ

26.7%

UTMOS μ

3.30

RTF tr.vị

2.83

Tham chiếu Tiếng Tây Ban Nha

Tiếng Tây Ban Nha

FLEURS test/es_419/11137049735103408221.wav

Bản ghi tham chiếu: Las escenas se proyectan en las pirámides y todas ellas son iluminadas.

Văn bản sinh ra: La segregación y la recombinación barajan la variación entre uno y otro generación tras generación.

OmniVoice

Bản nhân bản int8 từ tham chiếu Tiếng Tây Ban Nha. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.758

WER μ

9.9%

UTMOS μ

2.86

RTF tr.vị

0.21

VoxCPM2

Bản nhân bản bf16 từ tham chiếu Tiếng Tây Ban Nha. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.641

WER μ

5.8%

UTMOS μ

2.62

RTF tr.vị

1.18

Chatterbox Multilingual

Bản nhân bản fp16 từ tham chiếu Tiếng Tây Ban Nha. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.708

WER μ

6.9%

UTMOS μ

3.37

RTF tr.vị

1.22

Fish Audio S2 Pro

Bản nhân bản fp16 từ tham chiếu Tiếng Tây Ban Nha. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.633

WER μ

6.8%

UTMOS μ

2.95

RTF tr.vị

2.73

Qwen3-TTS Base

Bản nhân bản 1.7B bf16 ICL từ tham chiếu Tiếng Tây Ban Nha. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.710

WER μ

11.1%

UTMOS μ

3.03

RTF tr.vị

1.76

Tham chiếu Tiếng Trung

Tiếng Trung

FLEURS test/cmn_hans_cn/6735471425702786619.wav

Bản ghi tham chiếu: 当天，格林尼治时间 (GMT) 约 12 时许，该车辆被拖离事故现场。

Văn bản sinh ra: 植物通过光合作用从阳光中获取养分。它们还能提供荫凉。

OmniVoice

Bản nhân bản int8 từ tham chiếu Tiếng Trung. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.709

CER μ

4.9%

UTMOS μ

2.83

RTF tr.vị

0.21

VoxCPM2

Bản nhân bản bf16 từ tham chiếu Tiếng Trung. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.695

CER μ

4.9%

UTMOS μ

2.91

RTF tr.vị

1.10

Fish Audio S2 Pro

Bản nhân bản fp16 từ tham chiếu Tiếng Trung. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.634

CER μ

6.2%

UTMOS μ

3.55

RTF tr.vị

2.76

Qwen3-TTS Base

Bản nhân bản 1.7B bf16 ICL từ tham chiếu Tiếng Trung. Các chỉ số là trung bình mười clip; âm thanh là một mẫu tiêu biểu.

Cosine μ

0.701

CER μ

5.7%

UTMOS μ

3.44

RTF tr.vị

1.73

Phương pháp

Tham chiếu từ tập dữ liệu, không phải demo chọn tay

Tham chiếu và văn bản mục tiêu đến từ tập test của Google FLEURS: tiếng Anh, tiếng Đức, tiếng Ả Rập, tiếng Tây Ban Nha và tiếng Trung Quan Thoại. Mỗi ngôn ngữ chúng tôi chọn mười clip tham chiếu và ghép mỗi clip với một câu mục tiêu FLEURS giữ lại khác nhau, để các chỉ số ít nhạy hơn với một câu dễ hay tệ. Với các engine chấp nhận bản ghi tham chiếu, bản ghi FLEURS chính xác được truyền cùng lời nhắc âm thanh.

Hình dạng điểm phản chiếu mặt khách quan của đánh giá nhân bản giọng nói kiểu VoxCPM: độ dễ hiểu qua WER/CER, và nhân bản qua độ tương đồng cosine của embedding người nói. Bộ mã hóa người nói ở đây là speech embed-speaker --engine mlx của Soniqo, nên hãy so sánh các hàng bên trong bảng này, không so trực tiếp với phần trăm SIM trong các bài báo.

UTMOS được tính bằng utmos22_strong từ SpeechMOS sau khi lấy mẫu lại clip sinh ra về 16 kHz. Nó cho tín hiệu tự nhiên không tham chiếu mà WER và cosine người nói bỏ lỡ, nhưng vẫn là dự đoán của mô hình chứ không phải nghiên cứu nghe của con người.

Qwen3-TTS Base được đo bằng API ICL công khai của speech-swift （Qwen3TTSModel.fromPretrainedWithEncoder + synthesizeWithVoiceCloneICL）dùng cùng âm thanh và bản ghi tham chiếu FLEURS. Nó bị bỏ với tiếng Ả Rập vì tập ngôn ngữ Qwen3-TTS được phơi ra ở đây không gồm tiếng Ả Rập. Danh sách ngôn ngữ thượng nguồn của Chatterbox có tiếng Trung, nhưng frontend Swift hiện tại chỉ hỗ trợ đường tokenizer trực tiếp cho en, ar, hi, de, es, fr, it và pt; hàng tiếng Trung bị bỏ có chủ đích cho đến khi frontend đó về.

# Public speech-swift CLI example for one generated row.
speech speak "$TEXT" \
  --engine voxcpm2 \
  --voxcpm2-variant bf16 \
  --voxcpm2-ref-audio reference.wav \
  --language arabic \
  --output generated.wav

speech embed-speaker reference.wav --engine mlx --json
speech embed-speaker generated.wav --engine mlx --json
speech transcribe generated.wav --engine qwen3 --model 0.6B --language arabic

Vì sao nhiều điểm?

Một bản nhân bản có thể nghe giống người nói nhưng đọc sai văn bản, hoặc đọc văn bản rõ ràng mà lại trượt người nói. Nó cũng có thể khớp cả văn bản lẫn người nói mà vẫn mang lỗi âm nghe được. Cosine người nói, WER/CER và UTMOS bắt các chế độ lỗi khác nhau, nên cả ba đều cần hiển thị.

Gán cảm xúc và phong cách

OmniVoice

Gợi ý phong cách rộng

Tốt khi bạn muốn một người nói nhân bản với hướng dẫn thể hiện đơn giản, như đọc điềm tĩnh hơn, trẻ hơn, trầm hơn hoặc thì thầm. Benchmark này dùng cách thể hiện trung tính.

Chatterbox Multilingual

Cường độ biểu cảm

Hữu ích khi bạn muốn cùng một người nói nghe kiềm chế hơn hoặc sống động hơn mà không viết thẻ cảm xúc vào văn bản. Benchmark này giữ biểu cảm trung tính.

VoxCPM2

Chỉ đạo giọng bằng lời lẽ đơn giản

Rất hợp khi bạn muốn mô tả giọng hoặc cách thể hiện mục tiêu bằng ngôn ngữ tự nhiên mà vẫn nhân bản từ một clip tham chiếu. Benchmark này chỉ dùng clip tham chiếu.

Fish Audio S2 Pro

Gợi ý thể hiện diễn xuất

Tốt nhất khi kịch bản cần những khoảnh khắc rõ ràng như cười, thì thầm, phấn khích hoặc buồn. Benchmark này dùng văn bản thuần không có gợi ý diễn xuất.

Qwen3-TTS Base

ICL bằng âm thanh tham chiếu

Dùng clip và bản ghi FLEURS làm điều kiện trong ngữ cảnh. Đây là đường Qwen3-TTS tương đương cho nhân bản dựa trên mẫu trong bảng.

Benchmark cố ý để các điều khiển này ở trung tính. Điều đó giữ độ tương đồng người nói gắn với tham chiếu FLEURS thay vì thưởng cho một mô hình vì thêm cảm xúc, thì thầm, la hét hay tiếng cười.

Đọc kết quả

Hãy xem đây như một kiểm tra kỹ thuật gọn, không phải bảng xếp hạng. Mười cặp tham chiếu/mục tiêu mỗi ngôn ngữ hữu ích hơn một câu demo, nhưng vẫn quá nhỏ để tôn một nhà vô địch phổ quát. Cách đọc hữu ích là chỗ nào một mô hình ổn định hay giòn với một ngôn ngữ và chỉ số cụ thể.

Fish Audio và Qwen3-TTS thường ghi điểm UTMOS tốt hơn ngay cả khi một mô hình khác có cosine người nói cao hơn. Qwen3-TTS Base ICL được đưa vào cho tiếng Anh, tiếng Đức, tiếng Tây Ban Nha và tiếng Trung; trong lần chạy này nó mạnh nhất như một chuẩn tự nhiên/khôi phục văn bản, còn các mô hình nhân bản chuyên dụng vẫn cạnh tranh về danh tính người nói. Cách đọc đúng là đánh đổi theo từng ngôn ngữ, không phải một người thắng duy nhất.

Thử ngăn xếp

Speech Studio

Ứng dụng desktop cục bộ để nhân bản giọng và kết xuất kịch bản nhiều người nói trên máy của bạn.

Mở Speech Studio

Soniqo Cloud

Endpoint được lưu trữ để thử cùng ngăn xếp giọng nói trước khi ghép vào sản phẩm.

Mở cloud.soniqo.audio

Tài liệu nhân bản giọng nói Bài đánh giá VoxCPM