Automatische vertaling · Engels origineel

Magpie-TTS Meertalig

NVIDIA Magpie-TTS Meertalige 357M in Swift op Apple Silicon Een autoregressief multicodeboek tekst-naar-spraakmodel over NeMo's 22.05 kHz Nano-codec. Negen talen (Engels, Spaans, Duits, Frans, Italiaans, Vietnamees, Hindi, Mandarijns Chinees, Japans) met vijf gebakken luidspreker-identiteiten. Verscheept in INT4 (~247 MB) of INT8 (~411 MB). Streaming-ready, ~120 ms first-packet latency.

Architectuur

Magpie is een 4-bundel MLX pijplijn: tekstcoder → cross-atttention decoder © LocalTransformer codebook head → Causale HiFi-GAN audiocodec. De bundels delen decodergewichten tussen prefill en stap entrypoints om de upstream FluidInferenties CoreML lay-out aan te passen.

Talen en G2P

Alle negen talen round-trip door Qwen3-ASR in de SDK's testMultilingualRoundTrip. Elk krijgt een op maat gemaakte pijplijn:

De gedeelde 2360-entry vocab concateert de sub-tokeniser van elke taal end-to-end met een per-language offset (opgenomen in MagpieSubVocab). De tekst-enmbeding voegt twee extra rijen voorbij de vocab voor BOS / EOS; eos_id = 2361 is toegevoegd aan elke invoerreeks.

Gebakken luidsprekers

Het controlepunt insluit vijf luidsprekercontexten (110 frames × 768 dim elk) gebruikt als het voorvoegsel van elke AR decode. Speaker identiteit is consistent in alle negen talen.

Model Varianten

Beide bundels gebruiken MLX platte affiniteitkwantificatie (mlx_affine_flat, groepgrootte 64) en dequantiseren tot FP32 op laadtijd De activeringen van de runtime zijn volledig nauwkeurig. INT4 is hoorbaar niet te onderscheiden van INT8 voor dit model; pick INT4 tenzij u opslag te missen hebt.

CLI-gebruik

# English, greedy decoding
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o out.wav

# Spanish (any of the 9 languages — pick with --language)
speech speak "Hola, mundo." --engine magpie --language es \
    --magpie-speaker aria -o out.wav

# Japanese — needs stochastic decoding (greedy gets stuck on first phrase)
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o out.wav

# Streaming synthesis with playback
speech speak "Streaming test" --engine magpie --stream --play

# List the 5 baked speakers
speech speak --engine magpie --list-speakers

# Pre-phonemised IPA bypasses the per-language G2P
speech speak "həˈloʊ" --engine magpie --magpie-prephonemized -o out.wav

Opties

Klonen van stemmen wordt niet ondersteund

Magpie heeft geen nul-shot speaker conditionering in het model; alleen de 5 gebakken identiteit schip in de bundel. De CLI verwerpt de gedeelde --voice-sample, --speakeren --instruct vlaggen met een actieerbare fout die gebruikers wijst naar de --magpie-speaker vlag of de motoren die klonen ondersteunen (Qwen3-TTS Base, CosyVoice3, VoxCPM2).

Prestatie (M4 Pro)

Eerste pakket latency in streaming mode is ≈120 ms na model load. Streaming RTF is hoger omdat de codec opnieuw wordt opgeroepen op de volledige code buffer bij elke brok emissie (een toekomstige revisie kan codec status cache).

Swift API

import MagpieTTS

let model = try await MagpieTTS.fromPretrained(variant: .int4)

// Batch synthesis (en/es/de/fr/it/vi/hi/zh — greedy works)
let audio = try model.synthesize(
    text: "Hello, world.",
    speaker: .aria,
    language: .english,
    params: MagpieTTSParams(temperature: 0, topK: 1, maxSteps: 500))

// Japanese — use stochastic sampling
let audioJA = try model.synthesize(
    text: "こんにちは世界、これは音声合成システムです。",
    speaker: .aria,
    language: .japanese,
    params: MagpieTTSParams(temperature: 0.6, topK: 80,
                              maxSteps: 300, seed: 42))

// Streaming (AsyncStream<AudioChunk>)
let stream = model.synthesizeStream(
    text: "Streaming text",
    speaker: .aria,
    language: .english,
    firstChunkFrames: 8,
    framesPerChunk: 25)
for try await chunk in stream {
    // chunk.samples is 22.05 kHz mono Float32
}

CoreML backend (--engine magpie-coreml)

Naast de MLX-bundel draagt Magpie een CoreML bundel (aufklarer/Magpie-TTS-Multilingual-357M-CoreML-8bit, 342 MB INT8). .mlmodelc pakketten text_encoder, decoder_prefill, decoder_step, nanocodec_decoder Rennen op ANE / GPU; een Swift-side FSQ inverse verandert de bemonsterde codes in de 32-Dim laat de codec na.

# 8 languages (no Japanese), 5 baked speakers
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o hi.wav
speech speak "Hola mundo." --engine magpie-coreml --language es --magpie-speaker leo -o es.wav

# --language ja auto-routes to the MLX backend (stderr note)
speech speak "こんにちは" --engine magpie-coreml --language ja -o ja.wav

Caveats vs --engine magpie:

• Hybride pijpleiding vandaag. De 1- Layer LocalTransformer (de eigenlijke codebook bemonsteringskop NeMo treinen) en de 8 audio-inbedding tafels worden niet verzonden binnen de CoreML bundel. Bij de eerste synthese CoreML motor lui-laadt de MLX INT4 bundel om beide stukken te rijden. ASR round-trip is bit-for-bit identiek aan de MLX backend; het verschil is dat deze motor trekt in de MLX Een pure bundel ook. CoreML pad voor AN-alleen iOS inzet moet de bundel naar schip local_transformer/*.npy + audio_embedding_*.npy en een Swift Accelerate LT (tracked follow-up).
• Geen streaming. nanocodec_decoder.mlmodelc wordt getraceerd in een vast 64-frame venster. We brokken langere sequenties intern, maar first-packet latency zou ~3 s zijn als we uitgezonden aan brok grenzen. --stream wordt afgewezen met een uitvoerbare fout.
• Geen Japanse tokensizer. De CoreML bundel verstuurt nog geen JA tokenizer JSONs. --language ja met deze motor auto-vallen-terug naar de MLX backend.

Bestelling van de luidspreker komt overeen met de CoreML bundel's speaker_info.json (0=John, 1=Sofia, 2=Aria, 3=Jason, 4=Leo Anders dan MLX), en de speaker enum kaarten intern, zodat de CLI namen werken voor beide motoren.

Uitvoeringsnota's

Drie bugs die de moeite waard zijn om te weten of je NeMo-stijl meertalig TTS porteert:

• FSQ-vloerverdeling De FSQ-inverse van MLX-swift's / is de ware scheiding (mlx_divide); NeMo's FSQ inverse gebruikt Python //. Gebruik MLX.floorDivide(...) of elke FSQ -sleuf decodeert om breuken te compenseren en de codec uitstrijkt de audio.
• Sub-vocab offsets NeMo's AggregatedTTSTokenizer concateert per-taal vocabs met offsets. Een naïeve globale kaart van de eerste keer landt altijd in de Engelse regio en produceert onzin audio voor andere talen.
• Hindi last-wins dedup — HindiCharsTokenizer zendt dubbele Devanagari-items uit (CHARSET overlapt PUNCT_LIST). Python's {l: i for i, l in enumerate(tokens)} dict-comp houdt de laatste opdracht; spiegel dat, niet de eerste gebeurtenis.

Alle drie de correcties zijn inline gedocumenteerd in de Swift module.

Bron

• Upstreamgewichten: nvidia/magpie_tts_multilingual_357m (NVIDIA Modellicentie openen)
• Codec: nvidia/nemo-nano-codec-22khz-1.89kbps-21.5fps
• Paper: Nanocodec: Naar hoge kwaliteit Ultra snelle spraak LLM Invloed (2025)
• Referentie CoreML poort: FluidInferentie/mobius
• Swift modules: MagpieTTS (MLX) + MagpieTTSCoreML (CoreML)
• CoreML bundel: aufklarer/Magpie-TTS-Multilingual-357M-CoreML-8bit

Licentie

• Modelgewichten: NVIDIA Open Model Licentie (commercieel gebruik toegestaan; zie gekoppelde PDF op HuggingFace pagina)
• Swift port + gebundeld IPA / pinyin woordenboeken: hetzelfde als upstream NeMo (Apache 2.0 voor de woordenboeken, NVIDIA OML voor het model)