Konekäännös · Englanninkielinen alkuperäinen

CLI-viiteopas

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

speech -komento on paikallisen puheenkäsittelyn yhteyspiste.

Asenna Homebrew

Apple Silicon with macOS 15 tai uudempi, asenna CLI käyttäen Homebrew:

brew install speech
speech --help

Aja brew upgrade speech päivittääksesi olemassa olevan asennuksen.

Vaihtoehto: rakentaa lähteestä

speech-swift kassalla, suorita make build, käytä sitten .build/release/speech, ks. Aloitusopas , jos ehdot ja lähteen rakennusohjeet täyttyvät.

transkriptio

Kirjoita äänitiedostot tekstiksi.

speech transcribe <file> [options]

Eritelmät:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

Tasaan

Word-taso pakotettu linjaus ... Saat tarkat aikaleimat jokaiselle sanalle.

speech align <file> [options]

Eritelmät:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

puhu

Tekstipuhesynteesiä.

speech speak "<text>" [options]

Qwen3-TTS Valinnat

CosyVoice3 Valinnat

VoxCPM2 Options

IndexTTS2 Options

IndexTTS2 on nollatehoinen äänikloonausmoottori, jota tukee laajennettu MLX nippu. Siihen tarvitaan --voice-sample ja joka toimii tällä hetkellä ainoastaan eräsynteesinä.

F5-TTS Valinnat

Higgs TTS 3 optiota

Magpien valinnat

NVIDIA Magpie-TTS Monikielinen 357M, 9 kielet ja 5 leivotut kaiuttimet. Valitse taustaosa --engine magpie (MLX, oletus) tai --engine magpie-coreml (CoreML isoille malleille, joissa MLX ajaa LocalTransformer + audio upotukset). Magpie-opas koko kielikohtaisen G2P-jakauman osalta. Äänen kloonausta ei tueta: --voice-sample, --speaker, --instruct hylätään hyödyllisellä virheellä, joka osoittaa --magpie-speaker Sen sijaan.

magpie-coreml -opasteet: niputettu NanoCodec jäljitetään kiinteässä 64-ruudun ikkunassa, niin --stream hylätään. --language ja -autoreitit MLX -taustalaitteessa on stderr-huomautus (CoreML -paketti ei vielä toimi JA-poljinten ja audioelementtien kuljettamiseksi. CoreML -moottorin lazy-kuormat MLX -paketti, joka on ensimmäinen synteesi, jolla ajetaan paikallisista Transformers- ja keskimääräinen ääniedings; puhtaana-CoreML-käyttönä.

Eritelmät:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Ohje TTS optiot

Kokeileva : Natiivin SDK tuki päälähteestä. Homebrew ja muut esivalmistetut CLI-päästöt eivät saa vielä sisältää näitä moottoreita.

Täytäntöönpano (PR #541) : main

Julkaistu MLX nippu: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Esitä yksi tekstiparametri, --instruct, ja täsmälleen yksi nippuhakemisto tai yhteensopiva malli ID. Referenssiääni, kiinteät kaiuttimet ja eräsyöte eivät tue.

Jokainen teksti- ja opetuskenttä on rajattu 32,768 UTF-8 tavuihin. Täydellisen renderoidun syöteke-kehotuksen, mukaan lukien sen malli, on mahduttava 4,096-kuponkien sisälle. Molemmat raja-arvot ylittävät syötteet hylätään.

FireRedTTS3-Instruct säilyttää Float32 mallin ja dekooderipainot. Se palauttaa puskuroitua ääntä: jätä --stream. Englanti ja kiina --language aliasta hyväksytään.

MOSS-äänigeneraattori säilyttää BF16 kielipainot ja FP32 synteesikoodec. Käytä --stream invergence PCM. Omit --language ja aseta kielivaatimukset --instruct. Täytä kaikki kuusitoista koodikirjaa.

Ohjeen mukainen laatu on jakamaton. Lyhyen komentosarjan mittaukset kuvaavat testattua asetelmaa; olemassa olevan mallin latenssisertifikaatti ei ole vielä varma.

FireRedTTS3-Instruct · MOSS-äänigeneraattori

kokoro

Kevyt teksti-puhe käyttäen Kokoro-82M Neural Engine (CoreML). Non-autoreaggressiivinen ... yhden eteenpäin syöttö, ~45ms latenssi.

speech kokoro "<text>" [options]

Eritelmät:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

vastaus

Täysi duplex puhe-puhedialogi käyttäen PersonaPlex 7B.

speech respond [options]

Ohitukset

Eritelmät:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

äänikeskustelu

Live-duplex-keskustelu Soniqo, powered by NVIDIA Nemotron VoiceChat 11B. Mikrofonitila mahdollistaa Apple AEC:n, streaming RNN-T-otsikot, ihmisen reaaliaikaiset mittarit, adaptiiviset 8→2→1-askelääniparannukset ja rajoittaa sisääntulon uudelleensynkronointia pitkän hiljaisen kiinnioton sijaan.

speech voice-chat [options]

Eritelmät:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Kun MCP on käytössä, malli-natiivi-puhelu JSON ja palautetut työkalu-vastauspoletit käyttävät NVIDIA:n kaksivaiheista asynkronista toimintopolkua välimuistissa olevaan hiljaisuuteen. Ei ole olemassa transkriptioreititintä, säännöllisen ilmentymän sovitin, muistutusluonnoksen tila, argumentin korjaus tai skriptoitu avustaja vastaus: tarkistuspiste yksin valitsee työkalun ja sen argumentit. Koordinaattori vain validoi natiivi JSON, soveltaa luku-/kirjoituskäytäntöä, suorittaa valitun MCP-toiminnon ja palauttaa rakennetut tulokset koulutetun toimintokanavan kautta. Kirjoittaa suorittaa välittömästi oletuksen mukaisesti. allow käytäntö, poistamalla toinen vahvistuskierros muistutukset demo; identtinen valmis kirjoitus on edelleen vaimennettu kunnes uusi käyttäjä puhe. confirm ainoastaan silloin, kun mallivälitteistä vahvistusta halutaan nimenomaisesti tai deny MCP-komennot toimivat paikallisesti nykyisen käyttäjän tiedostojärjestelmän ja sovelluksen käyttöoikeuksilla, joten käytä vain luotettavia konfiguraatiotiedostoja ja palvelinpaketteja.

Mikrofonin havaitseminen ja RNN-T kuvatekstit jatkuvat mallivaiheiden välillä, kun taas ulkoinen MCP I/O toimii erillisessä tehtävässä. Puhetta kantavat mikrofonialueet, jotka on otettu talteen, kun jaettu välimuisti on varattu, säilytetään arvioituina upotteina ja toistetaan syy-yhteydessä tuloksen jälkeen, joten kuvatekstiä ei enää heitetä pois. Toistaminen on rajoitettu yhteen vanhaan semanttiseen kehykseen live-soittoa kohti; vastaava uusi runko pysyy jonossa, toista teksti on pakko toistaa PAD:lle, eikä jonoteta puhujalle. MCP kierros, ja työkalu-tulos välimuisti synkronointi. Decode ja tulos linjat näyttävät mallin / välimuistin plus live interleave, jäännös, jota toimija tuottaa, kirjanpito, ja järjestelmän argumentti; tulosaudio RTF mittaa mitään tuosta taustatyöstä. Kun puhelu on auki, pakotettu-PAD tekstikanava ohittaa käyttämättömän täyden äänen projisoinnin. EOTC:n jälkeen kaksivaiheinen polku jäädyttää yhteisen kielen ja EAR-TSS:n aikajanan, kun ulkoinen tulos on vielä kesken; mikrofonin kehykset ovat edelleen livenä havaintoa varten ja RNN-T, mutta eivät muutu synteettiseksi PAD-asennoksi ennen tulosta. 16Livesilmukka lukee yhden yhtenäisen funktiokuvan ja yhden MCP kuva 160 Ms sen sijaan, että soittaisi useita näyttelijä puheluita jokaisen mikrofonin runko. Tavallinen keskustelu säilyttää 40-frame RNN-T turvallisuusvaraukset, kun taas jo ehdotettu natiivi työkalu ehdokas voi tehdä jälkeen kahdeksan tyhjän kehykset. Teksti ja toiminto kanavat edelleen jakaa yksi Nemotron-H välimuisti, niin johdonmukainen tulos ehdollinen puhe alkaa vasta sen jälkeen, kun funktion vastaus sulkee; mielivaltainen assistentti puhe ei voi turvallisesti ajaa kuin toinen syy-seuraus tulevaisuudessa rinnakkain.

Puhdasta. M5 Pro 48 GB:n julkaisuprofiili mitattu 3.56–4.00 sekunnit puheen lopusta ensimmäiseen malliin kirjoitettuun työkalun jälkeiseen puheeseen kolmesta muistutuslistasta, joissa on kiinteä 200 Ms toimittaja. Native JSON dekoodaus käytetty 27–31 askelia 1.15–1.28 sekuntia, ja a 67-Token tulos synkronoitu 0.58–0.72 sekuntia. Jossa tahallaan hidas kahden sekunnin palveluntarjoaja, mikrofoni työtä odotusaika pysyi 19.6 ms p95 sekä 19.8 ms maksimi. Lopullinen puhdas ajo mitattu 118 ms mikrofonipalvelu p95 sekä 139 ms p95 Myöhästyminen yli 80 Ms catch deadline. Tarjoaja lisää vastauksen latenssi ilman jäädytystä kaappaus; jäljellä compute rajana on natiivi puhelun dekoodaus plus jaettu välimuisti tulos toisto.

Bundled demo paljastaa vain list_reminders, create_reminder, update_reminder; listan löytö pysyy sovitin-yksityinen. Yksi litteä muistutus lukee kattaa jokaisen EventKit luettelo ja korvaa pitkän toimittajan UUID vakaa, istunto-skaalattu referenssit, kuten r1. Päivitykset palauttavat yhden noista malli-näkyvistä referensseistä, ja adapteri ratkaisee sen juuri ennen suoritusta; se ei koskaan vastaa puhuttuja nimiä tai transkriptitekstiä. Ei-op-päivityksiä ja murto-prioriteetteja ei ilmoiteta onnistuneiksi muutoksiksi. 67 omaperäisiä vaiheita / 5.25 sekuntia, jossa realistinen UUID 37 askelia / noin 2.29 sekuntia r1. Luoda tarvitsee vain nimen, kun valinnainen palveluntarjoaja oletukset pysyvät valinnaisina. Striimaus RNN-T frontend käyttää NeMo-yhteensopiva heijastus todding vierivä ikkunan reunoilla sijasta nolla pehmusteet.

Tiedostotila on laitteistoton toistettavissa oleva polku. --force-turn-at-end on tarkoitettu vain hallittuihin regressiotesteihin, eikä sitä saa ilmoittaa luonnollisena käännön latenssina.

audiokäännös

Puheen kääntäminen puhekieleltä käyttäen Kyutai Hibiki Zero-3B. FR / ES / PT / DE → EN, yksi binääri, ei pilviä. Täydellinen opas →

speech audio-translate <input.wav> [options]

Ympäristömuuttujat

Eritelmät:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

vd

Offline-ääniaktiivisuustunnistus käyttäen Pyannote -segmentointia.

speech vad <file> [options]

Vand-stream

Virtausäänen aktiivisuuden ilmaisin käyttäen Silero VAD v5. Prosessipuhe 32 m:n paloina.

speech vad-stream <file> [options]

Käännös

Kääntyneisyyden toteaminen Smart Turn v3.2 (8M paraateja. CoreML, 23 kielet). Pisteet viimeinen 8 s kirjattu lause ja tulostaa todennäköisyys, että puhuja on valmis, täydellinen / puutteellinen tuomio, ja inference aikaa.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

Herätys

On-device Wake-word / avainsanan täplitys käyttäen KWS Zipformer (3.49M params, CoreML INT8, 26× reaaliaikainen, vain englanti).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diarize

Puhujan diarisation .

speech diarize <file> [options]

Eritelmät:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

upotettava kaiutin

Ottakaa kaiutin, joka upottaa vektorin äänistä.

speech embed-speaker <file> [options]

kieli-id

Tunnista puhuttu kieli äänitiedostossa.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoise

Poista taustamelu käyttämällä DeepFilterNet3 Neural Engine.

speech denoise <file> [options]

Esimerkki:

speech denoise noisy-recording.wav -o clean.wav

sävel

Luo 30 s musiikkia pikaviestistä käyttäen MAGNeT-arvoa MLX.

speech compose <prompt> [options]

Eritelmät:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

transkripti

Kirjoita hakemisto äänitiedostoja; malli on ladattu kerran.

speech transcribe-batch <input-dir> [options]

palauttaa

Palauta puhe (denoise + dereverb), jossa on Sidon ... CoreML, 48 kHz:n ulostulo.

speech restore <audio-file> [options]

erillinen

Erota musiikkiraita varsiin (laulu, rummut, basso, muut).

speech separate <input> [options]

ylös näyte

Äänen superresoluutio FlashSR ... yksivaiheisella tislatulla AudioSR:llä, 48 kHz:n ulostulolla.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift tukee 0.6B/256 ja 1.7B/1024 nippua; 0,6B pysyy oletusarvona. Kokeelliset 1.7B-nippujen oletusarvot ovat CPU ja edellyttävät valmisteltua 2048-kanavaa Float32 .npy kaiutinta, joka upotetaan --speaker-embedding. GPU/ANE ja iOS validointi pysyy erillisenä.

speech qwen3-tts-coreml "<text>" [options]

vibevoice

Microsoft VibeVoice (MLX)

speech vibevoice "<text>" --voice-cache <cache> [options]

vibevoice-encode-voide

Minttaa VibeVoice-äänimuistia viitetallennuksesta ja transkriptiosta.

speech vibevoice-encode-voice <input> "<transcript>" [options]

käännä

Käännetään teksti kohdekielelle MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

klef

Valitse sallituista vastauksista käyttämällä Clef-flash paikallisesti Apple Silicon. Kehitys esikatselu.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Pyyntö sisältää tekstin state ja tilatun questions. Kussakin kentässä on id ja type: choice choices kartta, noul true/false tai score tilattu levels. Tuotos on JSON, jossa on todennäköisyys, valitut vastaukset, rahamäärä, mallikuormitusaika ja päätöksentekoaika.

Oletuksena komentolataukset aufklarer/Clef-flash-9B-MLX-4bit. --model-dir olemassa olevien tiedostojen osalta tai --offline välimuistille. Token raja oletukset 4096 ja hyväksyy 1–16384. Katso Clef-opas täydellinen pyyntö ja mitattu muistin käyttö.

gliner

Schema-conditioned text classification and entity spans with GLiNER2.5-Decide (MLX). Kehitysesittely: ei vielä julkaisussa. Ota teksti luettavaksi stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

avatarin liike

Luodaan NVIDIA Audio2Face-3D avatarin liikekertoimen kehyksiä puheäänestä.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080