Maskinoversettelse · Engelsk original

CLI-referanse

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

speech-kommandoen er inngangspunktet for lokal talebehandling.

Installer med Homebrew

På Apple Silicon med macOS 15 eller nyere, installer CLI ved hjelp av Homebrew:

brew install speech
speech --help

Hvis du vil oppdatere en eksisterende installasjon, kjører du brew upgrade speech.

Alternativ: Bygg fra kilden

I en speech-swift utsjekking, løp make build, deretter bruk .build/release/speech. Se den Komme i gang guiden Forutsetninger og instruksjoner om kildebygging.

omskriver

Overskriv lydfiler til tekst.

speech transcribe <file> [options]

Eksempler:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

justering

Ordnivå tvangsjustering - få nøyaktige tidsstempler for hvert ord.

speech align <file> [options]

Eksempler:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

Snakk

Tekst-til-speech syntese.

speech speak "<text>" [options]

Qwen3-TTS

CosyVoice3 Alternativer

VoxCPM2 Alternativer

IndexTTS2 Alternativer

IndexTTS2 er en null-shot stemme-kloning motor støttet av en utvidet MLX pakke. Det krever --voice-sample og kjører for tiden kun partisyntese.

F5-TTS

Higgs TTS 3 Alternativer

Magpie-alternativer

NVIDIA Magpie-TTS Multilingual 357M, 9 språk med 5 bakte høyttalere. Velg motoren med --engine magpie (MLX, standard) eller --engine magpie-coreml (CoreML for de store modellene med MLX som kjører LocalTransformer + lydinnbygginger). Se Magpie guide for den fulle per-språklige G2P neddelingen. Stemmekloning støttes ikke: --voice-sample, --speaker, og --instruct blir avvist med en nyttig feil som peker på --magpie-speaker I stedet.

magpie-coreml grotteats: den pakkede NanoCodec spores på et fast 64-rammevindu, så --stream blir avvist. --language ja auto-routes til MLX backend med en strderrnote (CoreML bunten sender ikke JA-tokenizer-ressursene ennå). CoreML motor lat-laster MLX bundten på første syntese for å kjøre den lokale transformer og gjennomsnittlige lydinnleggingen; ren-koreML-utførelse er sporet som en oppfølging.

Eksempler:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Instruksjon TTS alternativer

Perfekt: Bygg innfødt SDK støtte fra hovedkilden. Homebrew og andre forhåndsbygde CLI-utgivelser kan ikke inkludere disse motorene ennå.

Implementering (PR #541): main

Publisert MLX pakker: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Gi ett tekstargument, --instruct, og nøyaktig én pakkekatalog eller kompatibel modell-ID. Referanselyd, faste høyttalere og satsinngang er ikke støttet.

Hvert tekst- og instruksjonsfelt er begrenset til 32.768 UTF-8 byte. Den fullstendig gjengitte inngangsprompten, inkludert malen, må passe innen 4.096 token. Innganger som overstiger enten grensen avvises.

FireRedTTS3-Instruct beholder Float32-modell og dekodervekter. Det returnerer buffert lyd: omit --stream. Engelsk og kinesisk --language-alias er akseptert. En generasjonsgrense øker en feil i stedet for å returnere avkortet suksess.

MOSS-VoiceGenerator beholder BF16 språkvekter og FP32 syntesekodeken. Bruk --stream for trinnvis PCM. Omit --language og sett språkkrav i --instruct. Fullføring tømmer alle seksten kodebøker.

Instruksjonsfølgende kvalitet er uscoret. Kortskrivne målinger beskriver det testede oppsettet; eksisterende modell latens sertifisering forblir inkonclusive.

FireRedTTS3-Instruct · MOSS-VoiceGenerator

Kokoro

Lett tekst-til-speech ved å bruke Kokoro-82M på Neural Engine (CoreML). Ikke-autoregressiv - enkelt viderepass, ~45ms latens.

speech kokoro "<text>" [options]

Eksempler:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

Svar

Full-duplex tale-til-speech dialog ved hjelp av PersonaPlex 7B.

speech respond [options]

Samplingsoverstyrer

Eksempler:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

stemmechatt

Live fullduplex samtale med Soniqo, drevet av NVIDIA Nemotron VoiceChat 11B. Mikrofonmodus gjør Apple AEC mulig, streaming RNN-T-tekster, menneskevendende sanntidsmålinger, adaptiv 8 → 2 → 1-trinns stemmeraffinering og avgrenset inn-synkronisering i stedet for en lang stille fangst.

speech voice-chat [options]

Eksempler:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Med MCP aktivert, modell-nativt kall JSON og returnerte verktøyrespons-symboler bruker NVIDIAs tofase asynkrone funksjonssti på en cached stillhet einstallation. Det er ingen transkripsjonsrouter, regulær-uttrykks matcher, påmindelses utkast til tilstand, argumentreparasjon eller skript assisterende svar: sjekkpunktet alene velger et verktøy og dets argumenter. Koordinatoren kun validerer den innfødte JSON, gjelder lese-/skrivepolicy, utfører den valgte MCP operasjonen, og returnerer strukturerte resultater gjennom den utdannede funksjonskanalen. Skriver umiddelbart under standardinnstillingen. allow policy, fjerne den andre bekreftelsessvingen fra påminnelser demo; en identisk fullført skrive er fortsatt undertrykt til frisk bruker tale. confirm bare når modellmediert bekreftelse er uttrykkelig ønsket, eller deny for å nekte å skrive. MCP-kommandoer kjører lokalt med gjeldende brukers filsystem og programrettigheter, så bruk bare pålitelige konfigurasjonsfiler og serverpakker.

Mikrofonoppfattelse og RNN-T-tekster fortsetter mellom modelltrinn, mens ekstern MCP I/O kjører i en egen oppgave. Talebærende mikrofonområder som er tatt opp mens den delte funksjonsbufferen er opptatt, holdes som evaluert inneleggelser og gjenspilt årsaksmessig etter resultatet, så en tekstisert oppfølging er ikke lenger kassert. Replay er begrenset til en gammel semantisk ramme per levende tilbakekallelse; den tilsvarende nye rammen forblir kølig, replay tekst tvinges til PAD, og allerede-utgått lyd blir aldri kødet til høyttaleren. Matching inaktiv EAR-TTS cache posisjoner synkroniser senere i bundet åtte-ramme biter. Dashboardet skiller innfødte oppringsdekoding, MCP rundtur og verktøy-result cache synkronisering. live interleave, resten som brukes av skuespilleren gir, bokføring og systemkonsistens; forgrunnslyd RTF måler ikke noe av det bakgrunnsarbeidet. Når et kall er åpent, hopper den tvangs-PAD-tekstkanalen over sin ubrukte fullvokaleringsprojeksjon. Etter EOTC fryser den tofasede banen det delte språket og EAR-TTS-tidlinjen mens det eksterne resultatet er i vente; mikrofonrammer forblir levende for oppfatning og RNN-T, men ikke blir syntetiske PAD-posisjoner før resultatet. Kjende resultater gjenspilles i bundet 16-token kausal-prefill biter. Live sløyfe leser ett sammenhengende funksjonsbilde og en MCP øyeblikksbilde hver 160 ms i stedet for å ringe flere skuespillere etter hver mikrofonramme. Vanlig samtale beholder den 40-frame RNN-T sikkerhetsspalt, mens en allerede foreslått innfødt verktøykandidat kan forplikte seg etter åtte tomme rammer. Tekst- og funksjonskanalene deler fortsatt én Nemotron-H-buffer, så sammenhengende resultatkvalifisert tale starter først etter at funksjonsresponsen stenger; vilkårlig assistenttale kan ikke sikkert kjøres som en andre årsaksframtid parallelt.

En ren M5 Pro 48 GB-utgivelsesprofil målt 3.56–4.00 sekunder fra slutten av tale til den første modell-autoriserte post-tool tale for tre påminnelse-liste frasinger med en fast 200 ms leverandør. Native JSON dekoding brukt 27–31 trinn i 1.15–1.28 sekunder, og 67-token resultat synkronisert i 0.58–0.72 sekunder. Med en bevisst sakte to-sekunders leverandør, mikrofon arbeid under ventetiden forble 19.6 ms p95 og 19.8 ms maksimalt. En endelig ren kjøre målt 118 ms mikrofon-service p95 og 139 ms p95 senaness utenfor 80 ms fange tidsfrister. Leverandøren legger derfor til svar latens uten frysing fangst; den resterende beregningsgrensen er innfødte anrop decoding pluss delte-cache resultat replay.

Den pakkede demoen eksponerer bare list_reminders, create_reminder, og update_reminder; listefunnet forblir adapter-privat. En flattliggende påminnelse lese dekker hver EventKit-liste og erstatter lange leverandør UUIDs med stabile, øktskopierte referanser som r1. Oppdateringer returnerer en av disse modell-synlige referanser, og adapteren løser det nøyaktig før utførelse; det matcher aldri talte navn eller transkripsjonstekst. Ingen oppdateringer og fraksjonsprioriteringer blir avvist i stedet for rapportert som vellykkede endringer. En kontrollert oppdateringsrevolusjon falt fra 67 innfødte trinn / 5.25 sekunder med en realistisk UUID 37 trinn / ca 2,29 sekunder med r1

Filmodus er den maskinvarefrie reproducerbare banen. --force-turn-at-end er bare for kontrollerte regresjonstester og må ikke rapporteres som naturlig turn-orientering latens.

lydtranslatert

Streaming tale-til-speech oversettelse ved hjelp av Kyutai Hibiki Zero-3B. FR / ES / PT / DE → EN, enkelt binær, ingen sky. Full guide →

speech audio-translate <input.wav> [options]

Miljøvariabler

Eksempler:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

Vad

Frakoblet taleaktivitetsdeteksjon ved å bruke Pyannote segmentering.

speech vad <file> [options]

vad-strøm

Strømming av taleaktivitetsdeteksjon ved å bruke Silero VAD v5. Prosesserer tale i 32ms biter.

speech vad-stream <file> [options]

Drev

Sluttpåvisning med Smart Turn v3.2 (8M params, CoreML, 23 språk). Poeng de siste 8 s i en registrert uttalelse og skriver ut sannsynligheten for at høyttaleren er ferdig, den fullstendige/ufullstendige dommen og inferenstiden.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

wake

På-device wake-word / keyword spoting ved hjelp av KWS Zipformer (3.49M params, CoreML INT8, 26× sanntid, kun engelsk).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diarize

Høyttalerdiarisering - identifisere hvem som talte når.

speech diarize <file> [options]

Eksempler:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

embed-speaker

Pakk ut en høyttalerinnelegg vektor fra lyd.

speech embed-speaker <file> [options]

språk-id

Identifiser det talte språket i en lydfil.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoise

Fjern bakgrunnsstøy ved hjelp av DeepFilterNet3 på Neural Engine.

speech denoise <file> [options]

Example:

speech denoise noisy-recording.wav -o clean.wav

komponere

Generer 30 s musikk fra en tekstprompt ved hjelp av MAGNET på MLX.

speech compose <prompt> [options]

Eksempler:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

transcribe-batch

Overskriv en katalog av lydfiler; modellen er lastet én gang.

speech transcribe-batch <input-dir> [options]

gjenopprette

Gjenopprett tale (denoise + dereverb) med Sidon — CoreML, 48 kHz-utgang.

speech restore <audio-file> [options]

separate

Separat et musikkspor i stengler (vokaler, trommer, bass, andre).

speech separate <input> [options]

oppsample

Audio super-oppløsning med FlashSR - ett-trinns destillert AudioSR, 48 kHz-utgang.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift støtter 0.6B/256 og 1.7B/1024 bundter; 0.6b forblir standard. Den eksperimentelle 1,7B bunt standard til CPU og krever en forberedt 2048-kanal Float32 .npy høyttaler inneslutting via --speaker-embedding. GPU/ANE og iOS validering forblir separat.

speech qwen3-tts-coreml "<text>" [options]

vibevoice

Tekst-til-speech med Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

vibevoice-encode-voice

Mint en VibeVoice stemme cache fra en referanse opptak pluss transkripsjon.

speech vibevoice-encode-voice <input> "<transcript>" [options]

oversetter

Oversett teksten til et målspråk med MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

clef

Velg mellom tillatte svar ved hjelp av Clef-flash lokalt på Apple Silicon. Utviklingsforhåndsvisning.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Forespørselen inneholder tekst i state og en bestilling questions array. Hvert felt har et id og a type: choice med a choices kart, noul for ekte/falske, eller score med bestillinger levels. Utgang er JSON med sannsynlighet, utvalgte svar, tokentelling, modell-last tid og beslutningstid.

Som standard laster kommandoen ned aufklarer/Clef-flash-9B-MLX-4bit. Bruk --model-dir for eksisterende filer eller --offline for cache. token begrenser standard til 4096 og aksepterer 1-16384. Se Clef guide for en fullstendig forespørsel og målt minnebruk.

gliner

Skjemakondisjonert tekstklassifisering og enhet spenner med GLiNER2.5-Decide (MLX). Utviklingspreview: ennå ikke i en utgivelse. Utsett teksten for å lese stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

Avatar-motivasjon

Generer NVIDIA Audio2Face-3D avatar-bevegelse koeffisientrammer fra talelyd.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080