Strojový překlad · Anglický originál

Referenční příručka CLI

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

V speech Příkaz je vstupním bodem pro místní zpracování řeči.

Instalovat pomocí Homebrew

Na Apple Silicon s macOS 15 nebo novější nainstalujte CLI pomocí Homebrew:

brew install speech
speech --help

Pro aktualizaci stávající instalace, spusťte brew upgrade speech.

Alternativa: budovat ze zdroje

V speech-swift Pokladna, běh make build, pak použít .build/release/speechPodívej se na to. Začínáme s průvodcem pro předpoklady a návod k vybudování zdroje.

transkribe

Transcribe audio soubory na text.

speech transcribe <file> [options]

Příklady:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

sladit

Word- level nucené zarovnání - získat přesné časové razítka pro každé slovo.

speech align <file> [options]

Příklady:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

Mluv.

Syntéza učení-k-řeči.

speech speak "<text>" [options]

Volby Qwen3-TTS

Volby CosyVoice3

Volby VoxCPM2

Volby IndexTTS2

IndexTTS2 je zero-shot hlasový klonovací motor podporovaný rozšířeným svazkem MLX. --voice-sample a v současné době běží pouze na syntézu dávky.

Volby F5-TTS

Higgs TTS 3 Možnosti

Možnosti Straky

NVIDIA Magpie-TTS Multilingual 357M, 9 jazyky s 5 pečené reproduktory. Vyberte si backend s --engine magpie (MLX, výchozí) nebo --engine magpie-coreml (CoreML pro velké modely s MLX řízení LocalTransformer + audio embeddings). Viz Návod pro straku pro úplné předjazyčné členění G2P. Hlasové klonování není podporováno: --voice-sample, --speaker, a --instruct jsou odmítnuty s užitečnou chybou ukazující na --magpie-speaker místo toho.

magpie- coreml caveats: Splétaná NanoCodec je vysledována v pevném okně 64- rámu, takže --stream je zamítnut. --language ja Auto- trasa na MLX backend s stderr note (CoreML svazek není loď JA tokenizer aktiv ještě). CoreML motor lazy- načte MLX svazku na první syntézu řídit LocalTransformer a průměrné audio vložení; pure- CoreML nasazení je sledováno jako follow- up.

Příklady:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Instrukce Volby TTS

Experimentální: Vybudovat nativní podporu SDK z hlavního zdroje. Homebrew a další předkonstruované CLI verze nemusí obsahovat tyto motory ještě.

Implementace (PR # 541): main

Publikované balíky MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Poskytněte jeden textový argument, --instruct, a přesně jeden adresář svazku nebo kompatibilní model ID. Referenční audio, pevné reproduktory a dávkové vstupy jsou nepodporovány.

Každé pole textu a instrukcí je omezeno na 32,768 UTF-8 bytes. Kompletní vykreslený vstupní příkaz, včetně jeho šablony, se musí vejít do žetonů 4,096. Vstupy překračující buď limit jsou zamítnuty.

FireRedTTS3-Instruct si ponechává model Float32 a závaží dekodérů. Vrací buffered audio: omit --stream. Anglické a čínské --language aliasy jsou přijímány. Generační limit zvyšuje chybu místo návratu zkrácený úspěch.

MOSS-VoiceGenerator si zachovává jazykové váhy BF16 a syntetický kodek FP32. Použijte --stream pro přírůstkové PCM. Omit --language, a vložte jazykové požadavky do --instruct. dokončení odčerpává všech 16 kódbooků.

Instruction- following quality is unscored. Měření skriptu popisují testované nastavení; certifikace existující modelu latence zůstává neprůkazná.

FireRedTTS3-Instruct · MOSS- VoiceGeneGenerator

kokoro

Lehká text- to- řeč pomocí Kokoro-82M na Neural Engine (CoreML). Non- autoregresivní - jednosměrný průchod, ~ 45ms latency.

speech kokoro "<text>" [options]

Příklady:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

odpověď

Full- duplex speech- to- speak dialog pomocí PersonaPlex 7B.

speech respond [options]

Odběr vzorků Overrids

Příklady:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

Hlasu- chat

Živý full- duplex rozhovor s Soniqo, poháněné NVIDIA Nemotron VoiceChat 11B. Režim mikrofonu umožňuje Apple AEC, streaming RNN-T titulky, lidské-čelí realitní metrika, adaptivní 8→2→1-krok hlas vyladění, a ohraničené vstup resynchronizace místo dlouhé tiché chytla- up.

speech voice-chat [options]

Příklady:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Se zapnutou MCP, model-rodák volání JSON a vrátil tool- odpověď tool- correction tokens use NVIDIA 's two-fázové asynchronní funkční cesta na cached silence embedded. Neexistuje žádný přepis router, regular-expression matcher, upomínka návrh stavu, oprava argumentů, nebo skript asistent odpověď: kontrolní bod sám vybere nástroj a jeho argumenty. Koordinátor pouze ověřuje nativní JSON, používá pravidla čtení / zápisu, provádí zvolené MCP operace, a vrací strukturované výsledky prostřednictvím cvičené funkce kanálu. allow politika, odstranění druhého potvrzení otočení z upomínky demo; identické dokončené psaní je stále potlačena, dokud čerstvé uživatelské řeči. confirm pouze v případě, že je výslovně požadováno potvrzení modelem, nebo deny odepření zápisu. Příkazy MCP běží lokálně s aktuálním uživatelským souborovým systémem a povolením aplikace, takže použijte pouze důvěryhodné konfigurační soubory a balíčky serverů.

Vnímání mikrofonu a RNN-T popisky pokračují mezi kroky modelu, zatímco vnější MCP I / O běží v samostatném úkolu. Speech- ložisko mikrofon oblasti zachycené, zatímco sdílená funkce cache je obsažena jsou zachovány jako vyhodnocené vkládání a přehrávání kauzálně po výsledku, takže kapilární follow- up není již vyřazen. Replay je omezen na jeden starý sémantický rámec na živé volání; odpovídající nový rámec zůstává queued, REPLAY text je nucen k PAD, a already- uplynulý zvuk je nikdy kvarted na reproduktor. Srovnávání polohy Ear- TTS cache synchronizovat později v ohranitelném frame úlomky. Dashboard odděluje domácí volání dekódování, MCP could trip, a tool- výsledek synchronizace cache. Dekódování a výsledkové řádky ukazují model / cache výpočet plus live interleave, zbytkový zdroj používaný výnosy, účetnictví a systémový kontext; popředí audio RTF měří žádné z těchto práce na pozadí. Jakmile je hovor otevřen, vynucený -PAD textový kanál přeskočí jeho nevyužité full- slovní projekci. Po EOTC, dvoufázová cesta zmrazí sdílený jazyk a Ear- TTS časová osa, zatímco vnější výsledek je nečeká; mikrofony zůstávají v přímém přenosu a RNN-T, ale nestávají se syntetické PAD pozice před výsledkem. Známé výsledky přehrávají v ohraničené 16-token capital -předplňte kusy. Živá smyčka čte jednu souvislou funkci snímek a jeden MCP Snímek každého 160 Ms místo toho, aby několik herců volání po každém mikrofonu rámu. Obyčejná konverzace zachovává 40-frame RNN-T bezpečnostní zálohování, zatímco already- navrhované nativní nástroj kandidát může spáchat po osmi prázdné rámečky. Text a funkční kanály stále sdílejí jeden Nemotron- H cache, takže koherentní výsledně-podmíněné řeči začíná až po ukončení funkce odpověď; svévolné asistent řeč nemůže bezpečně běžet jako druhá kauzální budoucnost paralelně.

Čistá M5 Pro 48 Měřený profil uvolňování GB 3.56–4.00 sekund od konce řeči k první modelově-autorem post- tool řeči pro tři remember- seznam frází s pevným 200 msprovider. původní JSON dekódování použitý 27–31 kroky v 1.15–1.28 sekund a 67-token výsledek synchronizován v 0.58–0.72 sekund. S záměrně pomalým dvou-sekundovým poskytovatelem, mikrofon práce během čekání zůstal 19.6 ms p95 a 19.8 ms maximum. Změřená konečná čistá jízda 118 ms microphone-service p95 a 139 ms p95 opožděnost za 80 ms zachycení termíny. Poskytovatel proto přidá odpověď latence bez zmrazení zachycení; zbývající limit výpočtu je rodné volání dekódování plus shared- cache výsledek replay.

Shromážděné demo vystavuje pouze list_reminders, create_reminder, a update_reminder; seznam objev zůstává přizpůsobivý - soukromý. Jeden plochý upomínka se vztahuje na každý seznam EventKit a nahrazuje dlouhý poskytovatel UUID se stabilní, session- pospied reference, jako je r1. Aktualizace vrátí jednu z těchto modelově viditelných referencí, a adaptér ji vyřeší přesně před provedením; nikdy neodpovídá mluvené názvy nebo přepis textu. No- op aktualizace a frakční priority jsou zamítnuty spíše než hlášeny jako úspěšné změny. Řízená aktualizace regrese klesla z 67 rodné kroky / 5.25 sekund s realistickou UUID na 37 kroky / o 2.29 sekundy s realistickou r1. Vytvoření vyžaduje pouze jméno, zatímco volitelné poskytovatele chyby zůstávají volitelné. Streaming RNN-T frontend používá NeMo-kompatibilní odraz vycpávky na válcování okenních hran místo nulové vycpávky.

Režim souboru je bezkonkurenční replikovatelná cesta. --force-turn-at-end je pouze pro řízené regresní testy a nesmí být hlášen jako přirozený turn-beroucí latence.

audio-přeložit

Streaming speech- to- speak translation using Kyutai Hibiki Zero-3B. FR / ES / PT / DE → EN, single binár, no cloud. Kompletní průvodce →

speech audio-translate <input.wav> [options]

Proměnné životního prostředí

Příklady:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

vad

Detekce hlasové aktivity pomocí segmentace Pyannote.

speech vad <file> [options]

vad- stream

Streaming hlasová aktivita detekce pomocí Silero VAD v5. Proces řeč v 32Je to jen kousek.

speech vad-stream <file> [options]

otočit

Detekce konce-of- otočení s Smart Turn v3.2 (8M params, CoreML, 23 Jazyky). Vydává poslední 8 s zaznamenané řeči a vytiskne pravděpodobnost, že reproduktor skončil, kompletní / neúplný verdikt, a čas inference.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

Probudit

On- device wake- word / klíčová slova sledování pomocí KWS Zipformer (3.49M params, CoreML INT8, 26x real-time, pouze angličtina).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diarizovat

Diarizace mluvčích - identifikujte, kdo kdy mluvil.

speech diarize <file> [options]

Příklady:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

embed- reproduktor

Extrahovat reproduktor vkládající vektor z audio.

speech embed-speaker <file> [options]

langage- id

Identifikujte mluvený jazyk v audio souboru.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoise

Odstranit hluk pozadí pomocí DeepFilterNet3 na Neural Engine.

speech denoise <file> [options]

Příklad:

speech denoise noisy-recording.wav -o clean.wav

komponovat

Vygenerovat 30 hudbu z textové linky pomocí MAGNET na MLX.

speech compose <prompt> [options]

Příklady:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

transkribe- partie

Transcribe adresář audio souborů; model se načte jednou.

speech transcribe-batch <input-dir> [options]

obnovit

Obnovit řeč (denoise + dereverb) s výstupem Sidon - CoreML, 48 kHz.

speech restore <audio-file> [options]

oddělené

Oddělte hudební skladbu do stonků (vokály, bubny, baskytary, jiné).

speech separate <input> [options]

Up vzorek

Audio superrozlišení s FlashSR - jednostupňový destilovaný AudioSR, 48 kHz výstup.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift podložky 0.6B /256 a 1.7B /1024 svazky; 0.6B zůstává výchozí. Experiment 1.7B svazek selhání na CPU a vyžaduje připravenou 2048-Channel Float32 .npy Vložení reproduktoru přes --speaker-embedding. GPU / ANE a iOS validace zůstávají oddělené.

speech qwen3-tts-coreml "<text>" [options]

vibevoice

Text- to- řeč s Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

vibevoice- encode- voice

Mint a VibeVoice hlasová cache z referenční nahrávky plus přepis.

speech vibevoice-encode-voice <input> "<transcript>" [options]

Přeložit

Přeložit text do cílového jazyka s MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

clef

Vyberte si z povolených odpovědí pomocí Clef- flash lokálně na Apple Silicon. Náhled vývoje.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Žádost obsahuje text v state a rozkaz, questions pole. Každé pole má id a type: choice s choices mapa, noul pro true / false, nebo score s objednaným levels. Výstup je JSON s pravděpodobností, vybrané odpovědi, token count, model- load time, a čas rozhodování.

Ve výchozím nastavení, příkaz stahuje aufklarer/Clef-flash-9B-MLX-4bitPoužití --model-dir pro stávající soubory nebo --offline pro cache. Token limit selhává na 4096 a přijímá 1-16384. Viz Průvodce čipem pro úplné vyžádání a změřené použití paměti.

glinner

Schéma-podmíněná textová klasifikace a entita sahá s GLiNER2.5-Decide (MLX). Náhled vývoje: ještě není ve verzi. Omit text číst stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

avatar- motion

Generovat NVIDIA Audio2Face-3D avatar- motion cokoeficient frames z hlasového audio.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080