Traducere automată · Originalul în engleză

Referință CLI

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

Comanda speech

Instalați cu Homebrew

La Apple Silicon cu macOS 15 sau mai nou, instalaţi CLI utilizând Homebrew:

brew install speech
speech --help

Pentru a actualiza o instalație existentă, executați un discurs de actualizare brew upgrade speech.

Alternativă: construirea din sursă

În speech-swift checkout, run make build, apoi utilizaţi .build/release/speech Vezi... Noțiuni de bază ghid de pornire pentru condițiile prealabile și instrucțiunile de construire a sursei.

transcriere

Transcrie fișierele audio în text.

speech transcribe <file> [options]

Example:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

aliniament

Aliniare forţată la nivelul cuvintelor. Obţineţi ştampile precise de timp pentru fiecare cuvânt.

speech align <file> [options]

Example:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

Vorbeşte.

Sinteza textului în vorbire.

speech speak "<text>" [options]

Qwen3-TTS Opțiuni

CosyVoice3 Opțiuni

VoxCPM2 Opțiuni

IndexTTS2 Opțiuni

IndexTTS2 este un motor cu clonare vocală cu foc zero, susținut de un pachet extins MLX. Este necesar --voice-sample și rulează în prezent numai sinteza seriei.

F5-TTS Opțiuni

Higgs TTS 3 Opțiuni

Opțiuni Magpie

NVIDIA Magpie-TTS Multilingv 357M, 9 limbi cu difuzoare coapte 5. Alegeți backend-ul cu --engine magpie (MLX, implicit) sau --engine magpie-coreml (CoreML pentru modelele mari cu MLX de conducere localTransformer + tabloadings audio). Ghid Magpie pentru defalcarea completă pe limbaj G2P. Clonarea vocală nu este suportată: --voice-sample, --speaker, și --instruct sunt respinse cu o eroare utilă care indică --magpie-speaker În schimb.

caveats magpie-coreml: NanoCodec este marcat la o fereastră fixă 64-frame, așa --stream este respinsă. --language ja Autorute către MLX suport cu o notă stderr ( CoreML pachet nu nava active tokenizer JA încă). CoreML motorul leneș-sarcină MLX pachet pe prima sinteză pentru a conduce local Transformer și media de incorporații audio; implementarea pur-CoreML este urmărită ca un follow-up.

Example:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Instrucțiune TTS opțiuni

Experimental: Construiește nativ SDK suport din sursa principală. Homebrew și alte prebuilt CLI nu pot include încă aceste motoare.

Implementation (PR #541): main

Publicat MLX pachete: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Oferă un argument text, --instruct, și exact un director pachet sau model compatibil ID. audio de referință, boxe fixe și intrare lot sunt nesuportate.

Fiecare câmp de text și de instruire este limitat la octeți 32,768 UTF-8. Impexul complet de intrare, inclusiv șablonul său, trebuie să se potrivească în jetoane 4,096 . Intrările care depășesc oricare dintre limite sunt respinse.

FireRedTTS3-Instruct reţine Float32 model şi greutăţi de decodor. Returnează audio tamponat: omite --stream. Engleză şi chineză --language pseudonime sunt acceptate. O limită de generaţie ridică o eroare în loc de a returna succesul trunchiat.

MOSS-VoiceGenerator păstrează BF16 greutăți lingvistice și FP32 codec sinteze. Utilizare --stream pentru PCM incremental. Omit --language și cerințe lingvistice de pus în --instruct.Electrizează toate șaisprezece registre de coduri.

Calitatea de instruire-urmărire este nemarcată. Măsurătorile pe scurt descrie configurarea testată; certificarea latență model existent rămâne neconcludentă.

FireRedTTS3-Instruct · MOSS-VoiceGenerator

kokoro

Ușor text-to-speech folosind Kokoro-82M pe Neural Engine (CoreML). Non-autoregresiv pass, ~45ms latență.

speech kokoro "<text>" [options]

Example:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

răspunde

Dialog complet-duplex-vorbire-la-discurs folosind PersonaPlex 7B.

speech respond [options]

Suprascrieri de eșantionare

Example:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

Voce-chat

Conversație full-duplex live cu Soniqo, alimentată cu NVIDIA Nemotron VoiceChat 11B. Modul microfon permite Apple AEC, streaming RNN-T subtitrări, măsurări în timp real cu care se confruntă oamenii, adaptative 8→2→1 rafinament vocal în trepte și resincronizare de intrare delimitată în loc de o captură lungă silențioasă.

speech voice-chat [options]

Example:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Cu MCP activat, model-nativ apel JSON și jetoane de instrument-răspuns returnat utiliza NVIDIA bifazice cale funcție asincronă pe o tacere cache încorporare. Nu există nici un router transcriere, regulat-expresie meci, memento proiect de stat, argument repararea, sau răspuns asistent scriptat: punctul de control alege numai un instrument și argumentele sale. Coordonatorul validează JSON nativ, se aplică / scrie politica, execută MCP selectat operațiune, și returnează rezultate structurate prin intermediul canalului de funcție instruit. Scrie executa imediat sub planul implicit allow politica, eliminarea a doua schimbare de confirmare de la demo memento-uri; un scrie identic completat este încă suprimat până la discursul de utilizator proaspăt. confirm numai atunci când confirmarea mediată de model este dorită în mod explicit; sau deny să refuze scrierile. Comenzile MCP rulează la nivel local cu sistemul de fișiere al utilizatorului curent și permisiunile de aplicare, astfel încât să utilizați doar fișiere de configurare de încredere și pachete de server.

Percepția microfonului și legendele RNN-T continuă între pașii de model, în timp ce MCP I/O externă rulează într-o sarcină separată. Regiunile microfonului purtatoare de vorbire capturate în timp ce cache-ul funcției partajate este păstrat ocupat sunt păstrate ca înglobări evaluate și rejucat cauzal după rezultat, astfel încât o urmărire captivată nu mai este aruncată. Replay-ul este limitat la un cadru semantic vechi per callback live; noul cadru corespunzător rămâne la coadă, textul replay este forțat să PAD, și audio deja elapsed nu este niciodată în coada la difuzor. Potrivirea poziție cache-uri Lance-TTS sincronizeaza mai târziu în bucăți de 8 cadre. Tabloul de bord separă apel nativ decodare, tur MCP, și instrument-efecte Cache sincronizare. Decode și liniile de rezultat arată model/cache calcul plus live interleave, rezidualul utilizat de randamentele actorului, evidenţa contabilă şi disputa sistemului; audio pre-ground RTF masoara nici unul dintre aceste lucrări de fundal. Odată ce un apel este deschis, canalul de text fortat-PAD sare peste proiecția sa complet neutilizate-vocabular. După EOTC, calea bifazică îngheță limba comună și TTS EAR în timp ce rezultatul extern este în așteptare; ramele de microfon rămân în direct pentru percepție și RNN-T, dar nu devin poziții PAD sintetice înainte de rezultat. Rezultate cunoscute reluați în limitat 16Bucla live citeşte o imagine coerentă a funcţiei şi una MCP imagine fiecare 160 ms în loc de a face mai multe apeluri actor după fiecare cadru microfon. Conversație obișnuită păstrează 40-cadrul de siguranță RNN-T, în timp ce un candidat deja propus la instrumente native se poate angaja după opt cadre oarbe. Canalele de text și de funcție încă împărtășesc un cache Nemotron-H, astfel încât discursul coerent condiționat de rezultate începe numai după ce răspunsul funcției se închide; discursul asistent arbitrar nu poate rula în siguranță ca un al doilea viitor cauzal în paralel.

Un curat. M5 Pro 48 Profil de eliberare GB măsurat 3.56–4.00 secunde de la sfârșitul discursului la primul model-autored discurs post-instrument pentru trei fraze de memento-list cu un fix 200 ms furnizor. Nativ JSON decodare utilizate 27–31 pași în 1.15–1.28 secunde și 67-rezultat sincronizat în 0.58–0.72 Cu un furnizor lent în mod deliberat de două secunde, funcţionează microfonul în timpul aşteptarea a rămas 19.6 ms p95 şi 19.8 Ms maxim. O ultimă cursă curată măsurată 118 Serviciul-microfon ms p95 şi 139 ms p95 întârziere dincolo de 80 Ms Captura termenele. Prin urmare, furnizorul adaugă răspuns latență fără captură înghețată; limita de calcul rămasă este decodarea apel nativ plus rejudecat-cache rezultat reluare.

Demo-ul grupat se expune doar list_reminders, create_reminder și update_reminder; descoperirea listei rămâne adaptor-privat.Un memento aplatizat acoperă fiecare listă EventKit și înlocuiește IUID-urile cu referințe stabile, cu telescopice, cum ar fi r1.Updatele returnează una dintre aceste referințe vizibile model, iar adaptorul rezolvă exact înainte de execuție; nu se potrivește niciodată numelor vorbite sau textului de transcriere. Actualizările și prioritățile fracționale nu sunt respinse decât dacă furnizorii opţionali rămân nesoluționaționali.Reducția actualizată controlată a scăzut de la 67 de pași nativi / 5.25 secunde cu un UUID realist la 37 de pași/aproximativ 2,29 secunde cu r1

Modul de fișier este calea reproductibilă fără hardware. --force-turn-at-end este doar pentru testele de regresie controlate și nu trebuie să fie raportate ca latență naturală de turn-taking.

audio-translate

Streaming speech-to- speech translation using Kyutai Hibiki Zero-3B. FR / ES / PT / DE → EN, single binar, no cloud. Ghid Full →

speech audio-translate <input.wav> [options]

Variabile de mediu

Example:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

vad

Detectarea activităţii vocale offline utilizând segmentarea Pyannote.

speech vad <file> [options]

vad-stream

Detectarea activității vocale prin streaming folosind Silero VAD v5. Procese speech în bucăți de 32ms.

speech vad-stream <file> [options]

Întoarce-te.

Detectare finală a turnului cu Smart Turn v3.2 (8M params, CoreML, 23 de limbi). înscrie ultimele 8 s ale unei declaraţii înregistrate şi imprimă probabilitatea ca vorbitorul să fi terminat, verdictul complet/incomplet şi timpul de deducţie.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

trezire.

On-dispecer wake-word / keyword spotting using the KWS Zipformer (3.49M params, CoreML INT8, 26× numai în timp real, numai în limba engleză).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diarizează

Diarizare speaker-ul ? Identifica cine a vorbit când.

speech diarize <file> [options]

Example:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

vorbitor de înglobare

Extragerea unui vector difuzor înglobare din audio.

speech embed-speaker <file> [options]

limba-id

Identificați limba vorbită într-un fișier audio.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoise

Se elimină zgomotul de fond care utilizează DeepFilterNet3 la Neural Engine.

speech denoise <file> [options]

Example:

speech denoise noisy-recording.wav -o clean.wav

compune

Generează 30 de s de muzică dintr-un text prompt folosind MAGNET pe MLX.

speech compose <prompt> [options]

Example:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

transcriere-batch

Transcrieți un director de fișiere audio; modelul este încărcat o dată.

speech transcribe-batch <input-dir> [options]

restabilește

Restaurarea discursului (denoise + dereverb) cu Sidon CoreML, 48 kHz ieșire.

speech restore <audio-file> [options]

separate

Separați o piesă muzicală în tulpini (vocale, tobe, bas, altele).

speech separate <input> [options]

Eșantionul de creștere

Super-rezoluție audio cu FlashSR bază distilată audioSR, ieșire 48 kHz.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift suportă 0.6B/256 și 1.7B/1024 pachete; 0.6B rămâne implicit.Experimental 1.7B pachet implicit la CPU și necesită un 2048-canal pregătit Float32 .npy difuzor înglobare prin --speaker-embedding. GPU/ANE și iOS validare rămâne separată.

speech qwen3-tts-coreml "<text>" [options]

vibevoice

Text-to-speech with Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

Vibevoice-code-voice

Ment un Cache voce VibeVoice de la o înregistrare de referință plus transcriere.

speech vibevoice-encode-voice <input> "<transcript>" [options]

traduce

Tradu textul într-o limbă țintă cu MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

clef

Alegeți din răspunsurile permise folosind Clef-flash local pe Apple Silicon. Previzualizare de dezvoltare.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Cererea conține text în state și un array comandat questions. Fiecare câmp are o hartă id și type: choice cu un choices hartă, noul pentru adevărat/fals, sau score cu nivele ordonate levels.Ieșirea este JSON cu probabilități, răspunsuri selectate, număr de token, timp de încărcare model și timp de decizie.

În mod implicit, comanda descărcări aufklarer/Clef-flash-9B-MLX-4bit. Utilizați --model-dir pentru fișierele existente sau --offline pentru cache. Limita de token se aplică la 4096 și acceptă 1izare16384. A se vedea ghidul Clef pentru o cerere completă și utilizarea de memorie măsurată.

planor

Clasificarea de text cu condiţie schematică şi entitatea se întinde pe GLiNER2.5-Decide (MLX). Previzualizare de dezvoltare: nu încă într-o versiune. Setează textul pentru a citi stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

avatar-motion

Generează NVIDIA Audio2Face-3D avatar-motion coeficient rames from speech audio.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080