CosyVoice3

Fun-CosyVoice3-0.5Bは9言語のストリーミング音声合成モデルです。3段階のパイプライン（LLMトークン生成、DiTフローマッチング、HiFi-GANボコーディング）を使用して、テキスト入力から自然な24 kHzの音声を生成します。このモデル — CosyVoice 3 とも表記 — は FunAudioLLM CosyVoice ファミリーの最新版です。

サポート言語

パイプライン

CosyVoice3は3段階で音声を合成します：

1. LLM — Qwen2.5-0.5Bバックボーンがテキストから FSQ（Finite Scalar Quantization）音声トークンを生成します
2. DiTフローマッチング — 22レイヤーのDiffusion Transformerが音声トークンをEuler ODE積分によりメルスペクトログラムに変換します
3. HiFi-GAN — Neural Source Filterボコーダーがメルスペクトログラムを24 kHzの波形に変換します

アーキテクチャ

LLM (Qwen2.5-0.5B)

言語モデルは離散的な音声トークンを自己回帰的に生成します。ランタイムは 4 つの量子化バリアント — 4ビット、8ビット、8-bit-full（int8 LLM + int8 DiT）、bf16（量子化なし）— を提供し、--cosyvoice-variant で呼び出しごとに選択できます。

DiT フローマッチング

Diffusion Transformerは、classifier-freeガイダンスを伴う条件付きフローマッチングを使用して、音声トークンをメルスペクトログラムに精密化します。

HiFi-GAN ボコーダー

メルスペクトログラムを波形に変換するNeural Source Filter (NSF) ボコーダー。

モデルウェイト

各バンドルには LLM、DiT フローマッチングデコーダー、HiFi-GAN ボコーダー、そしてゼロショット音声クローニングに必要な S3-Tokenizer リファレンスエンコーダーが含まれます。ダウンロード/ディスク容量を抑えたい場合は小さいバンドルを、LLM/DiT の量子化ノイズが問題になる場合（長文合成、ボイスクローンの忠実度）は bf16 を選んでください。

CLIの使用法

.build/release/speech speak "Hallo Welt" --engine cosyvoice --language german -o output.wav

例

# 英語
.build/release/speech speak "Hello, how are you?" --engine cosyvoice -o hello_en.wav

# 中国語
.build/release/speech speak "你好世界" --engine cosyvoice --language chinese -o hello_cn.wav

# スペイン語
.build/release/speech speak "Hola, buenos días" --engine cosyvoice --language spanish -o hello_es.wav

# フランス語
.build/release/speech speak "Bonjour le monde" --engine cosyvoice --language french -o hello_fr.wav

音声クローン

--voice-sampleフラグを使用して、短いリファレンス音声サンプルから任意の音声をクローンします。CosyVoice3はCAM++スピーカーエンコーダーを使用して、DiTフローモデルを条件付ける192次元の埋め込みを抽出します。

# 音声クローン
.build/release/speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# クロスランゲージ：音声をクローンしてドイツ語で話す
.build/release/speech speak "Guten Tag" --engine cosyvoice --voice-sample reference.wav --language german -o german.wav

仕組み

1. CAM++スピーカーエンコーダーはCoreML（Neural Engine）経由でリファレンス音声から192次元の埋め込みを抽出します
2. アフィン射影（192 → 80）がDiTフローマッチングデコーダーをターゲット音声に条件付けます
3. HiFi-GANボコーダーがスピーカー条件付きメルスペクトログラムを24kHz音声に変換します

スピーカーエンコーダー

CAM++モデルは--voice-sampleの初回使用時に自動ダウンロードされます。リファレンス音声のヒントとSwift APIについては音声クローンガイドを参照してください。

マルチスピーカー対話

インラインのスピーカータグを使用して、複数のスピーカー間の会話を合成します。各スピーカーは--speakersフラグを介してリファレンス音声ファイルから音声が割り当てられます。

# 音声クローンを伴う2スピーカー対話
.build/release/speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# 3スピーカー
.build/release/speech speak "[A] Welcome. [B] Thanks! [C] Glad to be here." \
    --engine cosyvoice --speakers a=host.wav,b=guest1.wav,c=guest2.wav -o panel.wav

タグ内のスピーカー名は大文字小文字を区別せず、マッピングキーと照合されます。設定可能な無音ギャップ（デフォルト0.2秒）がターン間に挿入されます。

感情とスタイルタグ

インラインの感情タグを使用してセグメントごとに発話スタイルを制御します。CosyVoice3は<|endofprompt|>トークンの前のテキストプレフィックスをスタイル指示として使用します。感情タグはこのプレフィックスを置き換える自然言語の指示にマッピングされます。

# 感情タグ
.build/release/speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# スピーカーとの組み合わせ
.build/release/speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# タグとしての自由形式指示
.build/release/speech speak "(Speak like a pirate) Ahoy matey!" \
    --engine cosyvoice -o pirate.wav

# グローバル指示（感情タグのないすべてのセグメントに適用）
.build/release/speech speak "Hello world" \
    --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

組み込み感情タグ

未知のタグは自由形式の指示として通過するので、(Speak in a slow, dramatic voice)はそのまま動作します。

モデル制御トークン（fl_ トークン）

内部的に、CosyVoice3 の LLM は fl_ をプレフィックスとする特別な制御トークンを使用して、モード（ゼロショットクローン、指示付き合成、話者保存など）を切り替えます。これらのトークンは上流の FunAudioLLM トークナイザーの一部であり、Soniqo ランタイムはあなたが使用する CLI フラグや Swift API 呼び出しに基づいて自動的に正しいものを発行するため、手動で書く必要はありません。

サンプリング

LLMステージは以下のサンプリング設定を使用します：

Repetition Aware Sampling (RAS)は、VALL-E 2から取り入れられたもので、最後の10個の生成トークンで出現したトークンにペナルティを課します。これにより、反復的な音声アーティファクトが防止され、出力の安定性が向上します。

パフォーマンス

M2 Max上で、CosyVoice3は約0.5のRTFを達成します — リアルタイムより高速です。