Konekäännös · Englanninkielinen alkuperäinen

Qwen3-TTS

Qwen3-TTS on 12Hz-koodekkikielimalli, jossa on Mimi -dekooderi korkealaatuiselle teksti-puhesynteesille. Oletusarvo MLX -polku käyttää nyt 1,7B-pohjaa bf16 -pakettia; 8-bittisiä nippuja on edelleen saatavilla pienempiä latauksia varten. int4 -versio on poistettu käytöstä TTS -laadun osalta.

VoxCPM2 vs Qwen3-TTS · Täysi viiden kielen vertailu ja menetelmä .

Putkijohto

Puhesynteesi seuraa kolmivaiheista putkea:

1. Talker 28-kerroksinen muuntaja, joka muuntaa syötetekstin ensimmäisiksi koodikirjapoleteiksi 12,5 Hz:n taajuudella
2. Code Predictor 5 kerroksen muuntaja, joka ennustaa jäljellä olevat 15 koodikirjaa ensimmäisestä piilotetusta koodikirjasta
3. Mimi Koodekki Dekooderi ... muuttaa kaikki 16 koodikirjaa 24 kHz:n ääniaaltomuodoksi

Arkkitehtuuri

Puhuja

Puhuja on ydin autoregressiivinen malli, joka tuottaa koodekki rahakkeita tekstisyötteestä.

Koodien ennakoija

Kevyt 5-kerroksinen muuntaja, joka ottaa piilotetut tilat ensimmäisestä koodikirjasta ja ennustaa jäljellä olevat 15 koodikirjaa automaattisesti. Yksiosaisen synteesin osalta kiinteä 15-ryhmän silmuka toimii yhtenä koodattuna kaaviona.

Mimi Koodekkipurkaja

Mimi dekooderi muuntaa kvantitatiiviset koodekkimerkit takaisin ääneksi:

1. RVQ:n dekoodaus (16 koodikirjaa)
2. Esikonvoluutio (512-1024 kanavaa)
3. Esimuuntaja (1024-512 pullonkaula, 8 kerrosta, SwiGLU + LayerScale)
4. Ylös näyte (2x, 2x)
5. SEANet dekooderi (8x, 5x, 4x, 3x ylös näytevaiheet)
6. 24 kHz:n aaltomuodon lähtö

Mallivaihtoehdot

CoreML Taustaosa

CoreML käyttää kuutta koottua osaa. Laske sijoitus riippuu valitusta nipusta.

1. TextProjectProjektor Projects monetic practice upottaa jaetun piilotilan
2. KodeEmbedder ...
3. MultiCodeEmbedder Upottaa rahakkeita koodikirjoista 1–15
4. koodiDekooderi ... 28-kerroksinen autoregressiivinen muuntaja, jossa on kansalaisuudeton KV-välimuisti (max. 256 sijaintia)
5. MultiCodeDecoder 5-layer-koodien ennustaja koodikirjojen 1...15 osalta
6. PuhelinDekooderi ... Mimi koodekkidekooderi, muuntaa 16 koodikirjaa 24 kHz:n ääneksi.

# CoreML synthesis
.build/release/speech speak "Hello, world!" --engine coreml -o hello.wav

# CoreML uses temperature 0.8 by default (required for quality output)
.build/release/speech speak "Long text here." --engine coreml --temperature 0.9 -o out.wav

speech qwen3-tts-coreml "Hello world" \
  --model aufklarer/Qwen3-TTS-1.7B-CoreML \
  --speaker-embedding speaker-17b.npy --output hello-17b.wav

CLI-käyttö

Luo puhe tekstistä:

.build/release/speech speak "Hello, world!" --output hello.wav

Valinnat

Esimerkit

# Basic synthesis
.build/release/speech speak "The quick brown fox." -o fox.wav

# Streaming output
.build/release/speech speak "Long passage of text..." --stream -o stream.wav

# Batch synthesis from file
.build/release/speech speak --batch-file sentences.txt --batch-size 4 -o output_dir/

Virtaaminen

--stream -lippu mahdollistaa katkaistun äänilähdön koko sukupolven aikana. Sen sijaan, että odottaisi koko lauseen valmistumista, ääni lähetetään kappaleina. Käytä --first-chunk-frames ja --chunk-frames -kokojen ohjaamiseksi.

Erä

Useiden ilmaisujen syntetisointiin käytetään --batch-file tekstitiedostolla, joka sisältää yhden rivin per lause. --batch-size -lippujen lukumäärät käsitellään rinnakkain.

Tulos

Jos M2 Max, Qwen3-TTS saavuttaa RTF (reaaliaikainen kerroin) noin 0,55, mikä tarkoittaa, että se tuottaa puheen nopeammin kuin reaaliaikainen. compile() lämmittely kestää noin 37 ms.

Kieli

Qwen3-TTS tukee monikielistä teksti-puhesynteesiä. Malli tunnistaa syötekielen automaattisesti ja tuottaa sen mukaisesti puheen.

Swift API

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Ainoastaan paikalliset paketit

Käytä fromLocal, kun sovelluksesi omistaa mallin hankinnan ja varastoinnin. Siirrä pää TTS malli- ja puheenohjainhakemistot erikseen. Puhelu ei koskaan ratkaise välimuistia tai ota yhteyttä verkkoon, ja lue pääpaketin config.json ennen kuin jaat MLX moduulit.

let model = try Qwen3TTSModel.fromLocal(
    modelDirectory: ttsDirectory,
    tokenizerDirectory: speechTokenizerDirectory
)

Diagnostiikka

Qwen3-TTS lähettää mallin latauksen ja diagnostiikan arvon AudioLog.modelLoading and AudioLog.inference stdoutin tai stderrin sijasta. Laskeet, muodot ja ajoitus ovat edelleen näkyvissä; soittajan antama kieli ja kaiutin ovat yksityisiä, eikä sisääntuloteksti ole koskaan kirjautunut.