Traduzione automatica · Originale inglese

Riferimento CLI

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

Il comando speech è il punto di ingresso per l'elaborazione locale del discorso.

Installare con Homebrew

Su Apple Silicon con macOS 15 o più recente, installare il CLI utilizzando Homebrew:

brew install speech
speech --help

Per aggiornare un'installazione esistente, eseguire brew upgrade speech

Alternativa: costruire da fonte

In un controllo speech-swift, eseguire make build, quindi utilizzare .build/release/speech . Vedi la guida Getting Started per i prerequisiti e le istruzioni per il costruzione sorgente.

trascrizione

Trascrivere file audio al testo.

speech transcribe <file> [options]

Esemplari:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

allineare

Allineamento forzato di livello di parola — ottenere timestamp precisi per ogni parola.

speech align <file> [options]

Esemplari:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

parlare

Sintesi del testo-speech.

speech speak "<text>" [options]

Qwen3-TTS Opzioni

Opzioni CosyVoice3

VoxCPM2

IndexTTS2

IndexTTS2 è un motore a zero-shot a voce-cloning sostenuto da un fascio MLX espanso. Richiede --voice-sample e attualmente gestisce solo la sintesi dei lotti.

F5-TTS Opzioni

Higgs TTS 3 Opzioni

Opzioni Magpie

NVIDIA Magpie-TTS multilingue 357M, lingue 9 con altoparlanti da forno 5. --engine magpie (MLX, default) o --engine magpie-coreml (CoreML per i grandi modelli con MLX che guida le incorporazioni audio LocalTransformer +). Guida di Magpie per la completa ripartizione G2P per lingua. La clonazione vocale non è supportata: --voice-sample, --speakere --instruct sono respinti con un errore utile a indicare --magpie-speaker Invece.

caveats magpie-coreml: il NanoCodec in bundle è tracciato in una finestra fissa 64-frame, quindi --stream è respinta. --language ja auto-rotoli al MLX backend con una nota di stderr (il CoreML bundle non spedisce ancora attività di tokenizer JA). CoreML motore pigro-carica il MLX bundle sulla prima sintesi per guidare il LocalTransformer e le embedding audio medi; la distribuzione Pure-CoreML viene tracciata come un follow-up.

Esemplari:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Istruzione TTS

Sperimentale: Costruire il supporto SDK nativo dalla fonte principale. Homebrew e altre versioni CLI precostruite potrebbero non includere ancora questi motori.

Attuazione (PR #541): main

Pubblicato MLX fasci: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Fornire un argomento di testo, --instruct, e esattamente una directory di bundle o un ID modello compatibile.

Ogni campo di testo e istruzioni è limitato a 32.768 byte UTF-8. Il prompt completo di ingresso reso, compreso il suo modello, deve essere inserito entro 4.096 token.

FireRedTTS3-Instruct mantiene il modello Float32 e i pesi decoder. restituisce l'audio bufferizzato: omit --stream. Gli alias --language sono accettati. Un limite di generazione solleva un errore invece di restituire il successo troncato.

MOSS-VoiceGenerator mantiene BF16 i pesi linguistici e il codice di sintesi FP32. Utilizzare --stream per PCM incrementale. Omit --language e mettere i requisiti linguistici in --instruct

Le misure a breve termine descrivono la configurazione testata; la certificazione di latenza esistente rimane inconcludente.

FireRedTTS3-Instruct · MOSS-VoiceGenerator

Kokoro

Testo-speech leggero utilizzando Kokoro-82M su Neural Engine (CoreML). Non-autoregressivo — singolo passo avanti, ~45ms latenza.

speech kokoro "<text>" [options]

Esemplari:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

rispondere

Dialogo vocale-speech completo con PersonaPlex 7B.

speech respond [options]

Overrides di campionamento

Esemplari:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

voce-chat

Conversazione full-duplex live con Soniqo, alimentata da NVIDIA Nemotron VoiceChat 11B. La modalità microfonia consente a Apple AEC, lo streaming di capzioni RNN-T, metriche in tempo reale orientate all'uomo, l'adaptive catch 8→2→1-step, e la ridefinizione aronizzazione dell'ingresso limitato

speech voice-chat [options]

Esemplari:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Con MCP abilitato, modello-nativo chiamata JSON e restituito strumento-response token uso NVIDIAIl percorso di funzione asincrono bifase su un silenzio in cache incorporato. Non c'è un router di trascrizione, un matcher di espressione regolare, una bozza di promemoria di stato, una riparazione di argomenti o una risposta di assistente scritta: il checkpoint sceglie da solo uno strumento e i suoi argomenti. Il coordinatore convalida solo il nativo JSON, applica la politica di lettura/scrittura, esegue il selezionato MCP funzionamento, e restituisce i risultati strutturati attraverso il canale di funzione addestrato. allow politica, rimuovendo il secondo turno di conferma dalla demo dei promemoria; una scrittura completa identica è ancora soppressa fino al discorso dell'utente fresco. confirm solo quando la conferma mediata dal modello è esplicitamente voluta, o deny I comandi MCP vengono eseguiti localmente con il filesystem e le autorizzazioni applicative dell'utente corrente, quindi utilizzare solo i file di configurazione e i pacchetti server di fiducia.

La percezione del microfono e le didascalie RNN-T continuano tra i gradini del modello, mentre l'esterno MCP I/O funziona in un'attività separata. Le regioni del microfono che portano il segnale acustico catturate mentre la cache della funzione condivisa è occupata vengono mantenute come embedding valutati e riprodotte causalmente dopo il risultato, quindi un follow-up non è più scartato. Il gioco è limitato ad una vecchia cornice semantica per il callback dal vivo; il nuovo frame corrispondente rimane in coda, il testo di riproduzione è costretto a PAD, e già in coda. MCP gita rotonda, e sincronizzazione della cache dei risultati dei risultati. Le linee di decodifica e di risultato mostrano il modello/la computazione cache plus live interleave, il residuo utilizzato dall'attore produce, contabilità e contention del sistema; audio di primo piano RTF Una volta aperta una chiamata, il canale di testo forzato-PAD salta la sua inutilizzata proiezione full-vocabulary. Dopo EOTC, il percorso bifase blocca la lingua condivisa e la timeline EAR-TTS mentre il risultato esterno è in attesa; i frame del microfono rimangono in tensione per la percezione e RNN-T ma non diventano posizioni sintetiche del PAD prima del risultato. 16-token blocchi causali-prefill. Il loop live legge un'istantanea di funzione coerente e uno MCP ogni istantanee 160 ms invece di fare diverse chiamate attore dopo ogni fotogramma del microfono. 40-frame RNN-T fallback di sicurezza, mentre un candidato di strumento nativo già proposto può commettere dopo otto frame vuoti. I canali di testo e funzione condividono ancora una cache Nemotron-H, così coerente discorso climatizzato dei risultati inizia solo dopo la chiusura della risposta della funzione; il discorso di assistente arbitrario non può tranquillamente funzionare come secondo futuro causale in parallelo.

Una pulita M5 Pro 48 Profilo di rilascio GB misurato 3.56–4.00 secondi dalla fine del discorso al primo discorso post-tool autorizzato del modello per tre fraseggi promemoria-list con un fisso 200 ms provider. Decodifica JSON nativo usato 27–31 passi in 1.15–1.28 secondi, e un 67-token risultato sincronizzato in 0.58–0.72 secondi. Con un fornitore deliberatamente lento di due secondi, il lavoro del microfono durante l'attesa è rimasto 19.6 ms p95 e 19.8 ms massimo. Una corsa pulita finale misurata 118 ms microfono-servizio p95 e 139 ms p95 latenza oltre il 80 ms acquisizione scadenze. Il fornitore aggiunge quindi la latenza di risposta senza blocco cattura; il limite di calcolo rimanente è decodifica chiamate nativo più rigioco di risultati in cache condiviso.

La demo in bundle espone solo list_reminders, create_remindere update_reminder; la scoperta dell'elenco rimane adattatore-privato. Un promemoria appiattito letto copre ogni lista EventKit e sostituisce UUID del fornitore lungo con riferimenti stabili e a giroscopio come r1. Gli aggiornamenti restituiscono uno di quei riferimenti a modello-visibile, e l'adattatore lo risolve esattamente prima dell'esecuzione; non corrisponde mai ai nomi o al testo trascritto.Gli aggiornamenti e le priorità frazionarie non vengono rifiutati piuttosto che segnalati come cambiamenti di successo. 67 passi nativi / 5.25 secondi con un UUID realistico a 37 passi / su 2.29 secondi con r1. Create richiede solo un nome mentre i default dei provider opzionali rimangono facoltativi. Il frontend in streaming RNN-T utilizza l'imbottitura di riflessione compatibile con NeMo ai bordi delle finestre di rotolamento invece di imbottitura zero.

La modalità file è il percorso riproducibile senza hardware. --force-turn-at-end è solo per i test di regressione controllati e non deve essere segnalato come latenza naturale di turn-taking.

audio-traslato

Streaming della traduzione vocale-to-speech utilizzando Kyutai Hibiki Zero-3B. FR / ES / PT / DE → EN, singolo binario, nessuna nuvola. Guida completa →

speech audio-translate <input.wav> [options]

Variabili dell'ambiente

Esemplari:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

Vad.

Rilevamento di attività vocale offline con segmentazione Pyannote

speech vad <file> [options]

a valle

Rilevamento dell'attività vocale in streaming con Silero VAD v5. Elabora il discorso in 32ms chunks.

speech vad-stream <file> [options]

turno

Rilevamento di fine turno con Smart Turn v3.2 (8M params, CoreML, lingue 23). PuÃ2 l'ultimo 8 s di un'enunciazione registrata e stampa la probabilità che l'altoparlante ha finito, il verdetto completo / incompleto, e il tempo di inferenza.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

Sveglia

On-device wake-word / parole chiave spotting utilizzando il KWS Zipformer (3.49M params, CoreML INT8, 26× in tempo reale, solo inglese).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

Diarize

Diarizzazione del relatore — identificare chi ha parlato quando.

speech diarize <file> [options]

Esemplari:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

embed-speaker

Estrarre un vettore di incorporazione dell'altoparlante dall'audio.

speech embed-speaker <file> [options]

lingua-id

Identificare la lingua parlata in un file audio.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoising

Rimuovere il rumore di fondo utilizzando DeepFilterNet3 su Neural Engine

speech denoise <file> [options]

Esempio:

speech denoise noisy-recording.wav -o clean.wav

composizione

Generare 30 s di musica da un prompt di testo utilizzando MAGNeT su MLX.

speech compose <prompt> [options]

Esemplari:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

trascrizione-batch

Trascrivere una directory di file audio; il modello viene caricato una volta.

speech transcribe-batch <input-dir> [options]

restaurare

Ripristinare il discorso (denoise + dereverb) con Sidon — CoreML, uscita 48 kHz.

speech restore <audio-file> [options]

separato

Separare una traccia musicale in fusti (voce, tamburi, basso, altro).

speech separate <input> [options]

upsample

Super-risoluzione audio con FlashSR — AudioSR distillato a un passo, uscita 48 kHz.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift Supporti 0.6B/256 e 1.7B/1024 fasci; 0.6B rimane l'impostazione predefinita. 1.7B pacchetti di default a CPU e richiede un preparato 2048-canale Float32 .npy embedding del diffusore tramite --speaker-embeddingLa convalida GPU/ANE e iOS rimangono separate.

speech qwen3-tts-coreml "<text>" [options]

Vibevoce

Testo a scelta con Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

vibevoice-encode-voice

Mint a VibeVoice voice cache da una registrazione di riferimento più trascrizione.

speech vibevoice-encode-voice <input> "<transcript>" [options]

tradurre

Traduci il testo in una lingua di destinazione con MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

clessidra

Scegliere tra le risposte consentite utilizzando Clef-flash localmente su Apple Silicon. anteprima di sviluppo.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

La richiesta contiene testo in state e un ordine questions array. Ogni campo ha un id e una type: choice con un choices mappa, noul per il vero/falso, o score con ordine levels. L'output è JSON con probabilità, risposte selezionate, conteggio token, tempo di carico del modello e tempo di decisione.

Per impostazione predefinita, i download del comando aufklarer/Clef-flash-9B-MLX-4bit. Uso --model-dir per i file esistenti o --offline per la cache. Il limite di token predefinito a 4096 e accetta 1–16384. Guida di Clef per una richiesta completa e l'uso della memoria misurata.

scintillante

La classificazione del testo e l'entità dello schema si estende con GLiNER2.5-Decide (MLX).Anteprima dello sviluppo: non ancora in un rilascio.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

avatar-motion

Generare NVIDIA Audio2Face-3D avatar-motion coefficient frames da audio vocale.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080