תרגום מכונה · המקור באנגלית

Qwen3-TTS

Qwen3-TTS הוא 12Hz קודק מודל שפה עם מודל Mimi קודר עבור סינתזה באיכות גבוהה טקסט-to-speech.The ברירת המחדל MLX עכשיו הדרך משתמשת 1.7בסיס B bf16 תגית: 8חבילות סיביות נשארות זמינות להורדה קטנה יותר. int4 הוא בוטל. TTS איכות.

VoxCPM2 לעומת Qwen3-TTS · השוואה ומתודולוגיה קול-קולית מלאה.

המונחים:

סינתזת דיבור עוקבת אחר צינור תלת-שלבי:

1. Talker - 28-layer הופך ממיר טקסט קלט לתוך אסימוני קוד ראשונים ב 12.5 Hz
2. Code Predictor - 5-layer הופך צופה שאר 15 חוברות קוד מתוך הספר הראשון מוסתר מדינות
3. Mimi Codec Decoder - מה שממיר את כל 16 ספרי קוד אסימונים לתוך גלי אודיו 24 kHz

ארכיטקטורה

שיחה

הרמקול הוא מודל אוטומטי הליבה אשר יוצר אסימוני קודק מקלט טקסט.

קוד חיזוי

מהפך של 5layer קל משקל לוקח את המדינות הנסתרות מן הספר הראשון קוד ומנבא את 15 ספרי הקוד הנותרים באופן אוטומטי. עבור סינתזה חד-טימית, לולאת 15 הקבוצה הקבועה פועלת כגרף אחד.

Mimi Codec Decoder

Mimi decoder ממיר אסימוני קוד מבוזרים קוונטיים בחזרה לתוך אודיו:

1. RVQ decode (16 ספרי קוד)
2. Pre-convolution (512 עד 1024 ערוצים)
3. Pre-transformer (1024 עד 512 צוואר בקבוק, 8 שכבות, SwiGLU + LayerScale)
4. Upsample (2x, 2x)
5. SeaNet decoder (8x, 5x, 4x, 3x upsample שלבים)
6. 24 kHz waveform

מודלים

CoreML חזרה

CoreML פועל שישה מרכיבים מורכבים.מיקום Compute תלוי בחבילה שנבחרה.

1. TextProjector - אסימונים של פרויקטים הטמיעו את החלל הנסתר המשותף
2. codebedder - Embeds First-codebook tokens ו- Control tokens
3. Multicode Embedd - Embeds tokens from codebooks 1-15
4. CodeDecoder - 28-layer autoregressive Transformer with Stateless KV cache (מקסימום 256 עמדות)
5. Multicoder - 5-layer קוד צופה עבור ספרי קוד 1-15
6. SpeechDecoder Mimi codec decoder, ממיר 16 ספרי קוד ל 24 kHz אודיו

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

CLI Usage

יצירת דיבור מטקסט:

.build/release/speech speak "Hello, world!" --output hello.wav

אפשרויות אפשרויות

דוגמאות

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

הזרמת הזרמתסטרימינג

The The The --stream הדגל מאפשר פלט אודיו מותש במהלך הדור, במקום לחכות לכל הדיבור כדי להשלים, אודיו הוא פולט בחלקים כמו אסימונים מופקים. --first-chunk-frames ו --chunk-frames לשלוט בגודל של כל נתח.

מצב Batch Mode

עבור סינתזציות מרובות, השתמש --batch-file עם קובץ טקסט המכיל קו אחד לביטוי. --batch-size שולט כמה הצהרות רבות מעובדות במקביל.

ביצועי ביצועים

על M2 מקס, Qwen3-TTS משיג RTF (גורם בזמן אמת) של בערך 0.55, כלומר הוא יוצר דיבור מהיר יותר מאשר בזמן אמת. compile() חימום, כל צעד לוקח על 37 ms.

שפות

Qwen3-TTS תומך סינתזת טקסט רב לשונית ל-Speech.המודל מזהה באופן אוטומטי את שפת הקלט ומייצר דיבור בהתאם.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

חבילות מקומיות בלבד

שימוש בשימוש fromLocal כאשר האפליקציה שלך מחזיקה ברכישת מודל ואחסון.עבור את מודל TTS הראשי ומנהלי הרצאות דיבור ל-Tokenizer בנפרד.הקריאה לעולם לא פותרת מטמון או מתקשרת לרשת, וקוראת את עיקרי החבילה. config.json לפני הקצאת MLX מודולים.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

אבחון

Qwen3-TTS שולח דוגמיות ואבחון מודלים ל AudioLog.modelLoading ו AudioLog.inference במקום סטפרט או סטדר. Counts, צורות, ותזמון נותרו גלויים; שפה וערכים פרטיים, וכתוב אף פעם לא מחובר.