Maskinöversättning · Engelskt original

CLI-referens

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

kommandot speech är ingångspunkten för lokal talbehandling.

Installera med Homebrew

På Apple Silicon med macOS 15 eller nyare, installera CLI med Homebrew:

brew install speech
speech --help

För att uppdatera en befintlig installation, kör brew upgrade speech.

Alternativ: bygg från källa

I en speech-swift kassan, kör make build, använd sedan .build/release/speech . Se Getting Started guide för förutsättningar och källbyggda instruktioner.

transkribera

Transkribera ljudfiler till text.

speech transcribe <file> [options]

Exempel:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

Align

Word-level tvångsjustering - få exakta tidsstämplar för varje ord.

speech align <file> [options]

Exempel:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

talar

Text-till-tal syntes.

speech speak "<text>" [options]

Qwen3-TTS Alternativ

CosyVoice3 alternativ

VoxCPM2 Alternativ

IndexTTS2 Optioner

IndexTTS2 är en noll-shot röstkloningsmotor som backas upp av en utökad MLX bunt. Det kräver --voice-sample och kör för närvarande batch syntes endast.

F5-TTS Alternativ

Higgs TTS 3 Alternativ

Magpie Options

NVIDIA Magpie-TTS Multilingual 357M, 9 språk med 5 bakade högtalare. Välj backend med ZX QXZ --engine magpie (MLX, standard) eller --engine magpie-coreml (CoreML för de stora modellerna med MLX som kör LocalTransformer + ljudinbäddningar). Magpie guide för fullständig per-language G2P nedbrytning. Voice Cloning stöds inte: --voice-sample, --speakeroch --instruct förkastas med hjälp av ett fel som pekar på --magpie-speaker I stället.

Magpie-coreml caveats: Den buntade NanoCodec spåras på ett fast 64-ramfönster, så --stream förkastas. --language ja auto-vägar till MLX-backend med en stderr-not (CoreML paketet inte skickar JA-tokenizer-tillgångar ännu). CoreML motor lata-laster MLX bunt på första syntesen för att driva LocalTransformer och genomsnittliga ljudinbäddningar; pure-CoreML-distribution spåras som en uppföljning.

Exempel:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Instruktion TTS alternativ

Experimental: Bygg infödd SDK stöd från huvudkällan. Homebrew och andra förbyggda CLI-utgåvor kanske inte inkluderar dessa motorer ännu.

Implementering (PR #541): main

Publicerad MLX buntar: aufklarer/FireRedTTS3-Instruct-MLX-fp32 aufklarer/MOSS-VoiceGenerator-MLX-bf16

Ge ett textargument, --instruct, och exakt en bunt katalog eller kompatibel modell ID. Referens ljud, fasta högtalare och batch ingång är ostödda.

Varje text- och instruktionsfält är begränsat till 32.768 UTF-8 byte. Den fullständiga ingångsprompten, inklusive dess mall, måste passa inom 4.096 tokens. Ingångar som överstiger gränsen avvisas.

FireRedTTS3-Instruct behåller Float32 modell och decoder vikter. Det returnerar buffert ljud: omit --stream. engelska och kinesiska --language alias accepteras. En generationsgräns höjer ett fel istället för att returnera truncerad framgång.

MOSS-VoiceGenerator behåller BF16 språkvikter och FP32 synthesis codec. Använd --stream för inkrementell PCM. Omit --language och sätta språkkrav i --instruct. Slutförande dränerar alla sexton kodböcker.

Instruktionsföljande kvalitet är oscored. Kortskriftsmätningar beskriver den testade inställningen; befintlig-modell latens certifiering förblir oavslutande.

FireRedTTS3-Instruct MOSS-VoiceGenerator

Kokoro

Lätt text-till-tal med Kokoro-82M på Neural Engine (CoreML). Icke-autoregressivt - enda framåt pass, ~45ms latens.

speech kokoro "<text>" [options]

Exempel:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

svara svara

Full-duplex tal-till-tal dialog med PersonaPlex 7B.

speech respond [options]

Sampling Overrides

Exempel:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

Röstchatt

Live full-duplex konversation med Soniqo, drivs av NVIDIA Nemotron VoiceChat 11B. Mikrofonläge möjliggör Apple AEC, streaming RNN-T-kapslingar, human-facing realtidsmätningar, adaptiv 8→2→1-stegs röstrefinement och bunden ingångsresynkronisering istället för en lång tyst catch-up.

speech voice-chat [options]

Exempel:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Med MCP aktiverad, modellinfödda call JSON och returnerade verktygs-respons-tokens användning NVIDIA"S tvåfas asynkron funktionsväg på en cached silence inbäddning. Det finns ingen utskrift router, regelbunden-uttryck matchare, påminnelse utkast till stat, argument reparation eller skript assistent svar: checkpoint ensam väljer ett verktyg och dess argument. Samordnaren validerar endast den infödda JSON, tillämpar läs / skriv politik, exekverar den valda MCP drift, och returnerar strukturerade resultat genom den utbildade funktionskanalen. Skrifter utförs omedelbart under standarden. allow policy, ta bort den andra bekräftelsen vända från påminnelser demo; en identisk färdig skriv är fortfarande undertryckt till ny användar tal. confirm endast när modellmedierad bekräftelse uttryckligen är önskvärd, eller deny För att vägra att skriva. MCP kommandon körs lokalt med den nuvarande användarens filsystem och applikationsbehörigheter, så använd endast betrodda konfigurationsfiler och serverpaket.

Mikrofonuppfattningen och RNN-T-kaptionerna fortsätter mellan modellsteg, medan externa MCP I/O körs i en separat uppgift. Talbärande mikrofonregioner fångade medan den delade funktionen cache är upptagen behålls som utvärderade inbäddningar och återspelas kausalt efter resultatet, så en bildade uppföljning inte längre kasseras. Replay är begränsad till en gammal semantisk ram per live callback; motsvarande ny ram förblir köad, replay text tvingas till PAD, och redan förflutet ljud är aldrig köad till högtalaren. MCP rundtur och verktygsresultat cache synkronisering. Avkodning och resultatlinjer visar modell / cache compute plus live interleave, resten som används av skådespelaren ger, bokföring och systeminnehåll; förgrundsljud RTF åtgärder ingen av det bakgrundsarbetet. När ett samtal är öppet hoppar den tvångs-PAD-textkanalen över sin oanvända full-vocabulary-projektion. Efter EOTC fryser tvåfasvägen det delade språket och EAR-TTS-tidslinjen medan det externa resultatet är pågående; mikrofonramar förblir levande för uppfattning och RNN-T men blir inte syntetiska PAD-positioner före resultatet. 16-token causal-prefill chunks. Den levande loopen läser en sammanhängande funktion snapshot och en MCP Snapshot varje 160 ms istället för att göra flera skådespelare samtal efter varje mikrofon ram. Vanlig konversation behåller 40-frame RNN-T-säkerhetsnedgång, medan en redan föreslagen inhemsk verktygskandidat kan begå efter åtta tomma ramar. Texten och funktionskanalen delar fortfarande en Nemotron-H-cache, så sammanhängande resultat-villkorat tal börjar först efter att funktionsresponsen stängs; godtyckligt assistenttal kan inte säkert köras som en andra kausal framtid parallellt.

En ren M5 Protokoll 48 GB release profil mätt 3.56–4.00 sekunder från slutet av tal till den första modellen-författade post-verktyg tal för tre påminnelse-list fraser med en fast 200 ms leverantör. Native JSON avkodning används 27–31 Steg in 1.15–1.28 sekunder, och en 67-token resultat synkroniserat i 0.58–0.72 sekunder. Med en avsiktligt långsam tvåsekundsleverantör var mikrofonarbetet under väntan kvar. 19.6 ms p95 och 19.8 Ms maximalt. En sista ren kör mätt 118 ms mikrofon-service p95 och 139 ms p95 separering bortom 80 ms fånga deadlines. Leverantören lägger därför till svar latens utan att frysa fånga; den återstående beräkningsgränsen är inhemsk call decoding plus delad-cache resultat replay.

Den buntade demo exponerar endast list_reminders, create_reminderoch update_reminder; Lista upptäckt förblir adapter-privat. En plattad påminnelse läsa täcker varje EventKit lista och ersätter långa leverantör UUID med stabila, sessionskodade referenser som r1Uppdateringar returnerar en av dessa modell-synliga referenser, och adaptern löser det exakt före utförande; det matchar aldrig talade namn eller transkript text. No-op uppdateringar och fraktionella prioriteringar avvisas snarare än rapporteras som framgångsrika förändringar. En kontrollerad uppdatering regression föll från 67 infödda steg / 5.25 sekunder med en realistisk UUID till 37 steg / om 2.29-sekunder med r1Skapa kräver bara ett namn medan valfria leverantörsstandarder förblir valfria. Den strömmande RNN-T-frontend använder NeMo-kompatibel reflektion padding vid rullande fönsterkanter istället för noll vaddering.

Filläge är den hårdvarufria reproducerbara vägen. --force-turn-at-end är endast för kontrollerade regressionstester och får inte rapporteras som naturlig vändning latens.

ljudöversättning

Streaming tal-till-tal översättning med Kyutai Hibiki Zero-3B. FR / ES / PT / DE → EN, enstaka binär, inget moln. Full guide

speech audio-translate <input.wav> [options]

Miljövariabler

Exempel:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

Vad för Vad

Offline röst aktivitet detektion med Pyannote segmentering.

speech vad <file> [options]

Vad-stream

Streaming röst aktivitet detektion med Silero VAD v5. Processer tal i 32ms bitar.

speech vad-stream <file> [options]

vända

Slutet-of-turn detektion med Smart Turn v3.2 (8M params, CoreML, 23 språk). Scores the last 8 s of a recorded utter the probability that the speaker has slut, the komplett/incomplete verdict, and the inference time.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

Vakna

On-device wake-word / keyword spotting med hjälp av KWS Zipformer (3.49M param, CoreML INT8, 26× realtid, endast engelska).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diarize

Högtalare diarization - identifiera vem som talade när.

speech diarize <file> [options]

Exempel:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

Embed-Speaker

Extrahera en högtalare inbäddningsvektor från ljud.

speech embed-speaker <file> [options]

språk-id

Identifiera talat språk i en ljudfil.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

Denoise

Ta bort bakgrundsljud med DeepFilterNet3 på Neural Engine.

speech denoise <file> [options]

Exempel:

speech denoise noisy-recording.wav -o clean.wav

Komponera

Generera 30 s musik från en textprompt med MAGNeT på MLX.

speech compose <prompt> [options]

Exempel:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

Transcribe-batch

Transkribera en katalog med ljudfiler; modellen laddas en gång.

speech transcribe-batch <input-dir> [options]

Återställ återställning

Återställ tal (denoise + dereverb) med Sidon - CoreML, 48 kHz-utgång.

speech restore <audio-file> [options]

separat separat

Separat ett musikspår i stjälkar (vokaler, trummor, bas, andra).

speech separate <input> [options]

Upsample

Audio super-resolution med FlashSR - enstegs destillerade AudioSR, 48 kHz-utgång.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift stöd 0.6B/256 och 1.7B/1024 buntar; 0.6B förblir standarden. experimentell 1.7B bunt standarder för CPU och kräver en förberedd 2048Kanal Float32 .npy högtalare inbäddning via --speaker-embeddingGPU/ANE och iOS validering förblir separat.

speech qwen3-tts-coreml "<text>" [options]

Vibevoice

Text-till-tal med Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

Vibevoice-Encode-voice

Mint en VibeVoice röst cache från en referensinspelning plus transkript.

speech vibevoice-encode-voice <input> "<transcript>" [options]

Översättning

Översätt text till ett målspråk med MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

CLF

Välj från tillåtna svar med Clef-flash lokalt på Apple Silicon. Utvecklingsförhandsgranskning.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Förfrågan innehåller text i state och en beställd questions Varje fält har en id och en type: choice med en choices Karta, noul för sann/falsk, eller score med beställd levelsOutput är JSON med sannolikheter, utvalda svar, token count, modellbelastningstid och beslutstid.

Som standard hämtar kommandot aufklarer/Clef-flash-9B-MLX-4bit. Använd --model-dir för befintliga filer eller --offline för cache. Token limit-standarderna till 4096 och accepterar 1-16384. Se Clef för en komplett begäran och mätt minnesanvändning.

gliner

Schema-konditionerad textklassificering och entitet sträcker sig över GLiNER2.5-Decide (MLX). Utvecklingsförhandsgranskning: ännu inte i en release. Omit texten för att läsa stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

Avatar-Motion

Generera NVIDIA Audio2Face-3D avatar-motion koefficient ramar från talljud.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080