Maskinoversættelse · Engelsk original

CLI-reference

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

Den speech kommandoen er indgangsstedet for lokal talebehandling.

Installér med Homebrew

På Apple Silicon med macOS 15 eller nyere, installere CLI ved hjælp af Homebrew:

brew install speech
speech --help

For at opdatere en eksisterende installation, køre brew upgrade speech.

Alternativ: bygge fra kilde

I et speech-swift check out, run make build, derefter brug .build/release/speech. Se Få startguide for forudsætninger og kilde- bygge instruktioner.

transcribe

Transcribe lydfiler til tekst.

speech transcribe <file> [options]

Eksempler:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

justér

Word- niveau tvunget justering - få præcise tidsstempler for hvert ord.

speech align <file> [options]

Eksempler:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

Tal

Tekst- to- tale syntese.

speech speak "<text>" [options]

Qwen3-TTS tilvalg

CosyVoice3 tilvalg

VoxCPM2 tilvalg

IndexTTS2 tilvalg

IndexTTS2 er en zeroshot voice- kloning motor bakkes op af en udvidet MLX bundt. Det kræver --voice-sample og kører i øjeblikket kun batch syntese.

F5-TTS tilvalg

Higgs TTS 3 Indstillinger

Magieindstillinger

NVIDIA Magpie- TTS Flersproget 357M, 9 sprog med 5 bagte højttalere. Vælg bagenden med --engine magpie (MLX, standard) eller --engine magpie-coreml (CoreML for de store modeller med MLX kører LocalTransformer + lydindlejringer). Magie guide for opdeling efter per- sprog G2P. Stemmekloning er ikke understøttet: --voice-sample, --speaker, og --instruct afvises med en nyttig fejl, der peger på --magpie-speaker I stedet.

magpie- coreml caveats: den bundtede NanoCodec er sporet på en fast 64- frame vindue, så --stream er afvist. --language ja Auto-ruter til MLX bagenden med en stderr note (den CoreML bundt ikke sende JA Schedrizer aktiver endnu). CoreML motor lazy- belastes MLX bundt på første syntese til at køre LocalTransformer og gennemsnitlige lyd indlejringer; pure-CoreML implementering spores som en opfølgning.

Eksempler:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Instruktion TTS muligheder

Eksperimentel: Byg native SDK støtte fra hovedkilden. Homebrew og andre præbyggede CLI udgivelser kan ikke inkludere disse motorer endnu.

Gennemførelse (PR # 541): main

Published MLX bundter: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Giv et tekstargument, --instruct, og præcis en bundt mappe eller kompatibel model ID. Reference lyd, faste højttalere og batch input er ikke understøttet.

Hvert tekst- og instruktionsfelt er begrænset til 32,768 UTF-8 bytes. Den komplette afleverede inddataport, herunder dens skabelon, skal passe inden for 4,096 tokens. Indgange, der overskrider begge grænser, afvises.

FireRedTTS3-Instruct bevarer Float32 model og dekoder vægte. Det returnerer buffered audio: udelt --stream. Engelsk og kinesisk --language aliaser accepteres. En generation grænse hæver en fejl i stedet for at returnere trunkeret succes.

MOSS- VoiceGenerator bibeholder BF16 sprogvægte og FP32 syntesecodec. Brug --stream til trinvis PCM. Omit --language og sætte sprogkrav i --instruct. Færdiggørelse dræn alle seksten kodebøger.

Instruction- følgende kvalitet er uscoret. Kortscriptmålinger beskriver den testede opsætning; eksisterende-model latency certificering forbliver ukonklusivt.

FireRedTTS3-Instruct · MOSS- VoiceGenerator

kokoro

Letvægts tekst- to- tale ved hjælp af Kokoro-82M på Neural Engine (CoreML). Non- autoregressive - enkelt forward pass, ~ 45ms latency.

speech kokoro "<text>" [options]

Eksempler:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

svar

Full- duplex speech- to- tale dialog ved hjælp af PersonaPlex 7B.

speech respond [options]

Prøveudtagning Overskridelser

Eksempler:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

voice- chat

Live full-duplex samtale med Soniqo, drevet af NVIDIA Nemotron VoiceChat 11B. Mikrofontilstand gør det muligt for Apple AEC, streaming RNN-T billedtekster, menneske-vender realtids målinger, adaptive 8→2→1-step stemme raffinement, og afgrænset input resynkronisering i stedet for en lang stille catch- up.

speech voice-chat [options]

Eksempler:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Med MCP aktiveret, model- native call JSON og returnerede værktøjs- svar tokens bruger NVIDIA 's tofaset asynkron funktion sti på en cachet stilhed embedding. Der er ingen udskrift router, regular- expression matcher, påmindelse udkast stat, argument reparation, eller scripteret assistent svar: checkpoint alene vælger et værktøj og dets argumenter. Koordinatoren validerer kun den indfødte JSON, anvender læse / skrive politik, udfører den valgte MCP operation, og returnerer strukturerede resultater gennem den trænede funktion kanal. Skrifter udfører straks under standard allow politik, fjerne den anden bekræftelse drejning fra påmindelser demo; en identisk afsluttet skrive er stadig undertrykt indtil frisk brugertale. Brug confirm kun når model- medieret bekræftelse udtrykkeligt ønskes, eller deny at nægte skriver. MCP kommandoer kører lokalt med den nuværende brugers filsystem og programtilladelser, så brug kun betroede konfigurationsfiler og serverpakker.

Mikrofonens opfattelse og RNN-T billedtekster fortsætter mellem modeltrin, mens eksterne MCP I / O kører i en separat opgave. Speech- bærende mikrofon regioner fanget, mens den delte funktion cache er optaget er bevaret som evaluerede indlejringer og afspilles kausalt efter resultatet, så en billedtekst opfølgning ikke længere kasseres. Replay er begrænset til en gammel semantisk ramme per levende callback; den tilsvarende nye ramme forbliver i kø, replay tekst er tvunget til PAD, og already- forløbet lyd er aldrig queued til højttaleren. Matching tomgang EAR- TTS cache positioner synkronisere senere i afgrænset eight- frame chunks. Dashboard adskiller indfødte opkald, den oprindelige opkald, MCP round trip, og tool- result cache synkronisering. Decode og resultatlinjer viser model / cache beregne plus live interleave, det restbeløb, der anvendes af skuespillerens udbytte, bogholderi og systemstrid; forgrundslyd RTF måler ingen af disse baggrundsarbejde. Når et opkald er åbent, den kraft- PAD tekst kanal springer sin ubrugte full-ordforråd projektion. Efter EOTC, tofaset sti fryser det delte sprog og EAR- TTS tidslinje, mens det eksterne resultat venter; mikrofon rammer forbliver live for opfattelse og RNN-T, men ikke bliver syntetisk PAD positioner før resultatet. Kendte resultater replay i afgrænset 16-token caJerusalem-prefill stykker. Liveløkken læser en sammenhængende funktion snapshot og en MCP snapshot hver 160 ms i stedet for at gøre flere skuespillere opkald efter hver mikrofon ramme. 40-frame RN- T sikkerhed fallback, mens en allerede foreslået native værktøj kandidat kan forpligte efter otte tomme rammer. Teksten og funktion kanaler stadig deler en Nemotron- H cache, så sammenhængende resultat- betinget tale starter først, når funktionen respons lukker; vilkårlig assisterende tale kan ikke sikkert køre som en anden årsagssammenhæng fremtid parallelt.

En ren M5 Pro 48 GB frigivelsesprofil målt 3.56–4.00 sekunder fra slutningen af tale til den første model- forfattet post- tool tale for tre påmindelser-liste frasings med en fast 200 ms udbyder. Indfødt JSON dekodning brugt 27–31 trin i 1.15–1.28 sekunder, og en 67-token resultat synkroniseret i 0.58–0.72 sekunder. Med en bevidst langsom to-sekunders udbyder, mikrofon arbejde under ventetiden forblev 19.6 ms p95 og 19.8 ms maximum. En endelig ren kørsel målt 118 ms microphone- service p95 og 139 ms p95 Forsinkelse 80 ms capture deadlines. Udbyderen tilføjer derfor svar latency uden frysning capture; den resterende computergrænse er native opkald dekodning plus shared- cache resultat spil igen.

Den bundtede demo udsætter kun list_reminders, create_reminder, og update_reminder; liste opdagelse forbliver adapter- private. En fladtrykt påmindelse læse dækker hver EventKit liste og erstatter lange udbyder UUID 'er med stabile, session- scoped referencer såsom r1. Opdateringer returnere en af disse model- synlige referencer, og adapteren løser det præcis før udførelse; det aldrig matcher talte navne eller udskrift tekst. No- op opdateringer og fraktionelle prioriteter afvises snarere end rapporteret som vellykkede ændringer. En kontrolleret opdatering regression faldt fra 67 indfødte trin / 5.25 sekunder med en realistisk UUID til 37 trin / om 2.29 sekund med r1. Opret kræver kun et navn, mens valgfri udbyder standard forbliver valgfri. streaming RNN-T frontend bruger NeMo- kompatibel refleksion polstring på rullende vindueskanter i stedet for nul polstring.

Filtilstand er den hardware- free reproducerbar sti. --force-turn-at-end er kun til kontrollerede regressionstest og må ikke rapporteres som naturlig turnus- tager latency.

audio- translate

Streaming speech- to- tale oversættelse ved hjælp af Kyutai Hibiki Zero-3B. FR / ES / PT / DE → EN, single binær, ingen sky. Fuld guide →

speech audio-translate <input.wav> [options]

Miljøvariabler

Eksempler:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

vat

Offline voice aktivitet detektion ved hjælp af Pyannote segmentering.

speech vad <file> [options]

vad- stream

Streaming af voice activity detection ved hjælp af Silero VAD v5. Processer tale i 32ms chunks.

speech vad-stream <file> [options]

Drej

Ende- of- turn detektering med Smart Turn v3.2 (8M-params CoreML, 23 ). Scorer den sidste 8 s af en registreret udtale og udskriver sandsynligheden for, at højttaleren er færdig, den komplette / ufuldstændige dom, og inferens tid.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

vågn

On- enhed wake- word / søgeord spotting ved hjælp af KWS Zipformer (3.49M-params CoreML INT8, 26× realtid, kun engelsk).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diarize

Foredragsholder Diarization - identificer hvem der talte hvornår.

speech diarize <file> [options]

Eksempler:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

indlejret-højttaler

Uddrag en højttaler indlejring vektor fra lyd.

speech embed-speaker <file> [options]

language-id

Identificer det talte sprog i en lydfil.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoise

Fjern baggrundsstøj ved brug af DeepFilterNet3 på Neural Engine.

speech denoise <file> [options]

Eksempel:

speech denoise noisy-recording.wav -o clean.wav

komponér

Generér 30 s af musik fra en tekstprompt ved hjælp af MAGNET på MLX.

speech compose <prompt> [options]

Eksempler:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

transcribe- batch

Transcribe en mappe med lydfiler; modellen er indlæst én gang.

speech transcribe-batch <input-dir> [options]

gendannelse

Gendan tale (denoise + dereverb) med Sidon - CoreML, 48 kHz output.

speech restore <audio-file> [options]

separat

Separér et musikspor i stængler (vokal, trommer, bas, andet).

speech separate <input> [options]

upprope

Audio superopløsning med FlashSR - et-trins destilleret AudioSR, 48 kHz output.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift Understøtter 0.6B /256 og 1.7B /1024 bundter 0.6B forbliver standard. 1.7B bundfejl til CPU og kræver en forberedt 2048-kanal Float32 .npy højttaler indlejring via --speaker-embeddingGPU / ANE og iOS valideringen forbliver adskilt.

speech qwen3-tts-coreml "<text>" [options]

vibevoice

Tekst- to- tale med Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

vibevoice- encode - voice

Mint en VibeVoice voice cache fra en reference optagelse plus udskrift.

speech vibevoice-encode-voice <input> "<transcript>" [options]

oversætter

Oversæt tekst til et målsprog med MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

clef

Vælg mellem tilladte svar ved hjælp af Clef- flash lokalt på Apple Silicon. Udvikling forhåndsvisning.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Anmodningen indeholder tekst i state og en bestilt questions Array. Hvert felt har en id og a type: choice med choices kort noul for sand / falsk, eller score med bestilt levels. Output er JSON med sandsynligheder, udvalgte svar, token tæller, model- belastning tid, og beslutning tid.

Som standard downloads kommandoen aufklarer/Clef-flash-9B-MLX-4bit. Brug --model-dir for eksisterende filer eller --offline for cachen. Den token grænse standard til 4096 og accepterer 1- 16384. Se Clefguide for en komplet forespørgsel og målt brug af hukommelse.

gliner

Schema- Conditioned tekst klassificering og enhed spænder med GLiNER2.5-Decide (MLX). Udvikling preview: endnu ikke i en udgivelse. Umit teksten til at læse stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

avatar- motion

Generér NVIDIA Audio2Face-3D avatar- motion koefficient rammer fra tale lyd.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080