Awtomatikong salin · Orihinal sa Ingles
Sanggunian ng CLI
Breeze TTS 2 ·EzeTTS
English/Chinese TTS na may disenyo ng boses, reference cloning at direksiyon, at streamed audio (MLX BF16/8-bit, 24 kHz; research/non-commercial lisensiya).
speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
--instruct "A clear, calm English narrator." --stream -o design.wav--breeze-model-id:aufklarer/Breeze-TTS-2-MLX-8bit--breeze-bundle-dir--breeze-cache-limit-mib: Optional process-wide reusable MLX cache budget sa MiB; 0 ventruits caching.--breeze-reference-text--breeze-temperature:0.9--breeze-top-k:50--breeze-top-p:1--breeze-cfg-scale:4--breeze-max-frames:750--breeze-seed:42--first-chunk-frames:3--chunk-frames:25
Katutubong Apple runtime · PocketTTS
Ang PocketTTS ay nagdaragdag ng katutubong CoreML speech synthesis sa speech-swift. lahat ng mga yugto ay default sa CPU-lamang pagpatay. Ang Ingles na Alba preseted streams 1,920-sample frames sa 24 kHz (80 ms kada frame).
speech speak "Hello world." --engine pocket --stream \
--pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers Ang speech command ay ang entry point para sa lokal na pagproseso ng pagsasalita.
Iluklok na may Homebrew
Sa Apple Silicon na may macOS 15 o mas bago, i-install ang CLI gamit ang Homebrew:
brew install speech
speech --help
Upang i-update ang isang umiiral na installment, patakbuhin brew upgrade speech.
Alternatibong paraan: gumawa mula sa pinagmumulan
Sa Isang Kuwarto speech-swift mag - checkout, tumakbo make build, pagkatapos ay gamitin .build/release/speech. Tingnan ang Pagkakuha ng panimulang giya para sa mga demand at source-build na instruksiyon.
Mga Tagapagsalin
Isulat ang mga audio file.
speech transcribe <file> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<file> | Audio file to transcribe (WAV, M4A (tulong), MP3XZ, CAF) | |
--engine | qwen3 | ASR makina: qwen3, qwen3-coreml, parakeet, nemotron, omnilingual, cohere, voxtral, moss, whisper |
--model, -m | 0.6B | Pagkakaiba ng Modelo: 0.6B, 1.7B, o full HuggingFace model ID (qwen3 lamang) [whisper]: default, turbo, o full CoreML HuggingFace repo ID.[cohere/voxtral]: INT5 (default), INT8, FP16 ay isang modelong Hugging Face na ID, o isang lokal na directory. [moss coreml]: int8 (default) o fp16; [moss mlx]: int5 (default) o int8 Ang . MOSS ay tumatanggap din ng isang koordinado na Hugging Face resource ID o lokal na directory. |
--max-tokens | CoreML: 512MLX: 5120 | [moss] Ang Maximum ay gumagawa ng mga transcript na paunawa. |
--kv-cache | fp16 | [moss mlx] Dynamic KV-cache prepektura: fp16 o int8. |
--language | Ipinahihiwatig ng wika (opsiyonal, hindi pinapansin ng omnilingwal) | |
--window | 10 | [omnilingual] CoreML sukat ng bintana sa mga segundo: 5 o 10 |
--backend | coreml | [omnilingual/moss] Likod: coreml (Neural Engine) o mlx (Metal GPU). MOSS MLX nagbibigay ng dinamiko 131,072- Ang konteksto; MOSS CoreML gumamit ng nakapirme 1,024- Tuloy na kalagayan. |
--variant | 300M | [omnilingual mlx] Laki: 300M, 1B, 3B, o 7B |
--bits | 4 | [omnilingual mlx] Quantiation bits: 4 o 8 |
--stream | Maaring dumaloy na transcription na may VAD | |
--max-segment | 10 | Haba ng mga bahagi ng Maximum sa loob ng mga segundo (streaming) |
--partial | Bahagyang mga resulta sa panahon ng pagsasalita (streaming) |
Mga halimbawa:
# Basic transcription
speech transcribe recording.wav
# Use larger model
speech transcribe recording.wav --model 1.7B
# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml
# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet
# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron # batch
speech transcribe recording.wav --engine nemotron --stream --partial # streaming
# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5 # 5 s window
# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8 # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B # 7B @ 4-bit
# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de
# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr
# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16
# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8
# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de
# Streaming with VAD
speech transcribe recording.wav --stream --partial
Kasuwato ng
Word-level sapilitang paghahanay – makakuha ng mga tiyak na timestamps para sa bawat salita.
speech align <file> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<file> | Audio file | |
--text, -t | Teksto sa Pagtutugma (kung hindi isinama, una munang isalin) | |
--model, -m | 0.6B | ASR modelo para sa transcription: 0.6B, 1.7B |
--aligner-model | Pwersahang modelong pantelebisyon na ID | |
--language | Ipinahihiwatig ng wika |
Mga halimbawa:
# Auto-transcribe then align
speech align recording.wav
# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"
magsalita
Text-to-speech synthesis.
speech speak "<text>" [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<text> | Text to synthesis (opsiyonal kung gumagamit ng --batch-file) | |
--engine | qwen3 | TTS makina: qwen3, cosyvoice, voxcpm2, indextts2, f5, higgs, breeze, indic-mio, magpie, o magpie-coreml, moss-nano, fireredtts3, moss-voicegenerator |
--output, -o | output.wav | Ilabas na WAV file path |
--language | english | Wika. Omit upang gamitin ang katutubong diyalekto ng tagapagsalita kapag itinakda ang --speaker. |
--stream | Madaling Tuloy na Sintesis | |
--voice-sample | Reference audio para sa voice cloning (mga gawaing ginagamitan ng "work " qwen3, cosyvoice, voxcpm2, f5, higgs, at indextts2) | |
--verbose | Ipakita ang detalyadong info ng orasan |
Qwen3-TTS Options
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--model | base | Kaibahan ng Modelo: base, customVoice, o ganap na modelong HF ID |
--speaker | Tinig ng tagapagsalita (requires --model customVoice) | |
--instruct | Pagtuturo ng istilo (CustomVoice model) | |
--list-speakers | Listahan ng magagamit na mga tagapagsalita at labasan | |
--temperature | 0.3 | Nakaiiksing temperatura |
--top-k | 50 | Itaas na mga halimbawa |
--max-tokens | 500 | Maximum tokens (500 = °40s audio) |
--batch-file | Sawi ang pagbasa ng talaksang '%s': %s | |
--batch-size | 4 | Max na laki para sa katumbas na salinlahi |
--first-chunk-frames | 3 | Mga balangkas ng comedc sa unang streamed scale |
--chunk-frames | 25 | Ang mga balangkas ng modelo sa bawat sapad na tipak ng bato |
CosyVoice3 Options
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--speakers | Speaker na paggawa ng mapa para sa multi-specker na diyalogo: s1=alice.wav,s2=bob.wav | |
--cosy-instruct | Ang pagtuturo ng istilo (overrides default). ay kumokontrol sa estilo ng boses para sa CosyVoice3. | |
--turn-gap | 0.2 | Ang katahimikan sa pagitan ng pag - uusap ay nagbabago sa loob ng mga segundo |
--crossfade | 0.0 | Pagsang - ayon sa pagitan ng mga pagliko sa loob ng mga segundo |
--model-id | HuggingFace model ID |
VoxCPM2 Options
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--voxcpm2-variant | bf16 | Quantisation variant: bf16, int8, o int4. Mga pasiya sa aufklarer/VoxCPM2-MLX-<variant>. |
--voxcpm2-instruct | Natural-wika voice deskripsiyon (voice design), e.g. "isang dalaga, magiliw at magiliw". | |
--voxcpm2-ref-audio | Reference audio file para sa cloning (16 kHz mono, rempared internally). | |
--voxcpm2-prompt-audio / --voxcpm2-prompt-text | "Ultimate cloning" pares – reference clip + ang transcripsyon nito para sa prosody-preservation cloning. | |
--voxcpm2-cfg-value | 2.0 | Classifier-free guidance scale para sa diffication sampolr. |
--voxcpm2-timesteps | 10 | Si Euler ang gumagawa ng mga hakbang sa bawat audio pattern. |
--voxcpm2-max-tokens | 2000 | Lumikha ng mga patseng Max bago sapilitang huminto. |
--voxcpm2-min-tokens | 2 | Papulahin ang mga patse bago pa man paputukin ang ulo ng top. |
--seed | Binhi MLX RNG bago ang synthesis (deterministiko sa ibayo). |
IndexTTS2 Options
IndexTTS2 ay isang kilometro sero-shot na voice-cloning engine na sinusuportahan ng isang pinalawak na MLX brock. Ito ay nangangailangan ng --voice-sample at sa kasalukuyan ay nagpapatakbo lamang ng distributed synthesis.
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--indextts2-model-id | aufklarer/IndexTTS2-MLX-fp16 | HuggingFace model ID. Defaults to aufklarer/IndexTTS2-MLX-fp16. |
--indextts2-bundle-dir | Pasanin ang isang lokal na pinalawak na bungkos sa halip na mag - download mula sa Hugging Face. | |
--indextts2-emotion-audio | Optional emosyon/style reference audio. Defaults to the speaker reference. | |
--indextts2-emotion | Ang mga opsyonal na preset o 8-halagang emosyon ay kinabibilangan ng vector. eager, happy, excited, at calm. | |
--indextts2-emotion-weight | 1.0 | Talaksan --indextts2-emotion; panatilihing katamtaman ang mga bagay na may kaugnayan sa pagkakakilanlan ng tagapagsalita. |
--indextts2-speaking-rate | 1.0 | Nagsasalita-rate multiplier mula 0.5 hanggang 1.5; mas mabilis ang mga halaga sa ibabaw ng 1.0. |
--indextts2-max-pause | Optional cap para sa mahabang panloob na low-energy tumigil, sa loob ng mga segundo. | |
--indextts2-s2mel-steps | 15 | S2Mel mga hakbang ng daloy (default 15, ear-validated; 25 posporo pasalungat sa eksaktong taas) |
F5-TTS Options
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--f5-reference-text | Reference transcript: ang nilalamang teksto ng --voice-sample (required) | |
--f5-steps | 16 | Agos-match na mga hakbang (default 16; 32 para sa sukdulang katapatan) |
--f5-cfg-strength | 2.0 | Lakas sa pag-uri-free guidance |
--f5-sway | -1.0 | Mga Halimbawa sa Sway na Hindi Empleto |
--f5-speed | 1.0 | Madaming Nagsasalita |
--f5-seed | 0 | Binhi para sa deterministikong output |
--f5-target-rms | 0.1 | Ang target ng RMS na normalization |
--f5-model-id | Hugging Face model ID | |
--f5-bundle-dir | Dalhin ang isang bungkos mula sa lokal na directory |
Higgs TTS 3 Options
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--higgs-ref-text | Reference transcript: ang nilalamang teksto ng --voice-sample (improves cloning) | |
--higgs-temperature | 0.8 | Sampling temperature (default 0.8) |
--higgs-top-p | Mga halimbawang nuclearus Circlock (kapag hindi naka-sign) | |
--higgs-top-k | Itaas na-ksaps cutoff (paglabas sa pamamagitan ng default) | |
--higgs-max-new-tokens | 2048 | Ang Maximum na lumilikha ng mga audio frame (25 sa bawat segundo) |
--higgs-seed | 0 | Binhi para sa deterministikong output |
--higgs-model-id | Hugging Face model ID | |
--higgs-bundle-dir | Dalhin ang isang bungkos mula sa lokal na directory |
Mga Mapagpipilian ng Magpie
NVIDIA Magpie-TTTS Multilingual 357M, mga wikang 9 na may 5 hinurnong mga tagapagsalita. Pipihin ang backend na may mga nagsasalita ng ZXQXZ. --engine magpie (MLX, default) o --engine magpie-coreml (CoreML para sa mga malalaking modelo na may MLX na nagpapatakbo ng LocalTransformer + audio embendings). Gagpie giya para sa full per-gage G2P breakdown. Hindi suportado ang mga symbolic link: --voice-sample, --speaker, at --instruct ay tinatanggihan sa tulong ng isang nakatutulong na pagkakamali na nakaturo sa --magpie-speaker sa halip.
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--magpie-variant | int4 | MLX-lamang. Quantisation: int4 (247 MB) o int8 (411 MB). aufklarer/Magpie-TTS-Multilingual-357M-MLX-<variant>. Ang CoreML engine ay gumagamit ng INT8 CoreML brock at hindi pinapansin ang bandilang ito. |
--magpie-speaker | sofia | Baked speaker: sofia, aria, jason, leo, o john. Identity ay hindi pabagu-bago sa lahat ng 9 wika at parehong backends. |
--magpie-temperature | 0.6 | Sampling temperature (0 = sakim). 0.6 para sa mga Hapones — ang kasakiman ay nananatili sa unang parirala. |
--magpie-top-k | 80 | Pansalang pang-itaas para sa mga halimbawa. |
--magpie-max-frames | 500 | Hard cap sa mga kuwadro ng codec (imperyo23 s). |
--magpie-min-frames | 4 | Minaliit na balangkas bago payagan ng EOS. |
--magpie-prephonemized | Treatise input as IPA / phoneme stream; dive per-wika G2P. | |
--list-speakers | Ilimbag ang 5 hinurnong tagapagsalita at labasan. |
Mga yungib ng magpie-coreml: ang nakapilot na NanoCodec ay natunton sa isang nakapirmeng bintanang 64-frame, kaya't --stream ay tinatanggihan. --language ja Ang auto-routes to the MLX backend na may stderr note (ang CoreML brock ay hindi pa nag-eebolb ng barkong JA tokenizer assets ngunit). Ang CoreML engine na tamad-based ang MLX na naka-claim sa unang syntheme upang patakbuhin ang LocalTransformed at average audio embedings; purong-CoreML retment ay na tinatagnan bilang isang follow-up.
Mga halimbawa:
# Basic TTS
speech speak "Hello, world!" --output hello.wav
# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav
# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav
# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
--voice-sample reference.wav --indextts2-speaking-rate 1.35 \
--indextts2-max-pause 0.05 -o indextts2.wav
# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav
# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
--engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav
# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
--engine cosyvoice -o emotion.wav
# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
--engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav
# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav
# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
--magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
--magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
--engine magpie --language ja --magpie-temperature 0.6 \
--magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers
# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
--magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav
# Streaming synthesis
speech speak "Long text here..." --stream
# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4
# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav
# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
--voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav
# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
--voice-sample speaker.wav -o clone.wav
Tagubilin TTS opsyon
Eksperimento: Magtayo ng katutubong suportang SDK mula sa pangunahing pinagkukunan. Homebrew at iba pang mga prebuild na CLI release ay maaaring hindi pa kasama ang mga makinang ito.
Implementasyon (PR #541): main
Inilathala ang mga bungkos ng MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16
Magtakda ng isang argumento sa teksto, --instruct, at eksaktong isang brock directory o magtutugmang modelo ID. Reference audio, mga nakapirmeng speaker at councre input ay hindi suportado.
Ang bawat teksto at larangan ng instruksiyon ay limitado sa 32,768 UTF-8 bytes. Ang kumpletong iginawad na input advanced, kabilang ang template nito, ay dapat na angkop sa loob ng 4,096 na mga pananda. Ang mga inputs na lampas sa alinmang limitasyon ay itinatakwil.
Ang FireRedTTS3-Instruct ay nagpapanatili ng Float32 model at decoder weights. Ito ay nagbabalik ng opensibong audio: abstraktong --stream. Ingles at Tsino --language alyasses ay tinatanggap. Ang isang hangganan ng henerasyon ay nag-aangat ng pagkakamali sa halip na ibalik ang tagumpay.
Ang MOSS-VoiceGenerator ay nagpapanatili ng BF16 language weights at ang FP32 synthesis codec. Gamitin ang --stream para sa incremental PCM. Omit --language at ilagay ang mga kahilingan ng wika sa --instruct.
Ang instruksyon-sunod na katangian ay hindi nai-cored. ang mga maikling-script na sukat ay naglalarawan sa tested setup; ang umiiral na-model na latency serial ay nananatiling hindi tiyak.
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--fireredtts3-bundle-dir | — | Pagsama-samahin ang lokal na luwas na bungkos; piliin ito o ang pagpipiliang modelo-ID. |
--fireredtts3-model-id | — | Inilathala ang katugmang MLX brock ID; piliin ito o ang isang lokal na directory. |
--fireredtts3-flow-steps | 10 | Agos na mga hakbang sa bawat akustika. |
--fireredtts3-max-patches | 400 | Ang hangganan ng lahi; ang pag - abot dito bago matapos ay nagbabangon ng isang pagkakamali. |
--moss-voicegenerator-bundle-dir | — | Pagsama-samahin ang lokal na luwas na bungkos; piliin ito o ang pagpipiliang modelo-ID. |
--moss-voicegenerator-model-id | — | Inilathala ang katugmang MLX brock ID; piliin ito o ang isang lokal na directory. |
--moss-voicegenerator-max-frames | 750 | Ang hangganan ng lahi; ang pag - abot dito bago matapos ay nagbabangon ng isang pagkakamali. |
--moss-voicegenerator-chunk-frames | 3 | Kumpletuhin ang mga balangkas ng codec sa bawat PCM clush (1–32). |
--seed | 2 / 42 | Humingi ng binhi: FireRedTTS3 defaults to 2; MOS-VoiceGenerator to 42. |
FireRedTTS3-Instruct · MESS-VoiceGenerator
kokoro
Lightweight text-to-speech gamit ang Kokoro-82M sa Neural Engine (CoreML). Non-autoregressive–isang pasulong na pagpasa, iV45ms latency.
speech kokoro "<text>" [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<text> | Tekstong Pang - ebolusyon | |
--voice | af_heart | Boses preset (50 na makukuha sa 10 wika) |
--language | en | kodigo ng wika: en, es, fr, hi, ito, ja, pt, zh, ko, de |
--output, -o | kokoro_output.wav | Ilabas na WAV file path |
--list-voices | Ilista ang lahat ng magagamit na tinig at labasan | |
--model, -m | HuggingFace model ID |
Mga halimbawa:
# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav
# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav
# List all 50 voices
speech kokoro --list-voices
tugon
Full-duplex speech-to-speech diyalogo gamit ang PersonaPlex 7B.
speech respond [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--input, -i | Input audio WAV file (24kHz mono) (Hinihiling) | |
--output, -o | response.wav | Ilabas ang tugon WAV file |
--voice | NATM0 | Voice preset (e.g. NATM0, NATF1 (XZ), VARF0) |
--system-prompt | assistant | Nakatakda: assistant, focused, customer-service, teacher |
--system-prompt-text | Ang sistema ng adwana ay nag - uudyok ng teksto (overrides preset) | |
--max-steps | 200 | Ang Max na henerasyon ay may habang 12.5Hz (imperyo16s) |
--stream | Emit audio clusters sa buong panahon ng salinlahi | |
--compile | Masalimuot na tinipong transpormer (warmup + kernel na pagsasanib) | |
--list-voices | Listahan ng magagamit na voice presets | |
--list-prompts | Ang magagamit na sistema ay nag - uudyok ng mga preset | |
--transcript | Ilimbag ang panloob na monologue na teksto ng modelo | |
--json | Palabas Bilang JSON (transcript, latency, audio path) | |
--verbose | Ipakita ang detalyadong info ng orasan |
Panunuya sa mga Labis na Pag - abuso
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--audio-temp | 0.8 | Mga Bilang ng Pagtaya sa temperatura |
--text-temp | 0.7 | Mga Bilang ng mga halimbawa ng temperatura |
--audio-top-k | 250 | Mga kandidato sa Audio top-k |
--repetition-penalty | 1.2 | Audio pag - uulit ng parusa (1.0 = may kapansanan) |
--text-repetition-penalty | 1.2 | Pag - uulit ng teksto (1.0 = may kapansanan) |
--repetition-window | 30 | Repetitition penit window sa mga frame |
--silence-early-stop | 15 | Tahimik na mga frame bago huminto nang maaga (0 = may kapansanan) |
--entropy-threshold | 0 | Text entropy gateway para sa maagang paghinto (0 = may kapansanan) |
--entropy-window | 10 | Sunud - sunod na mababang-entropiya na mga hakbang bago huminto nang maaga |
Mga halimbawa:
# Basic speech-to-speech
speech respond --input question.wav
# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile
# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose
tinig-chat
Mabuhay full-duplex na usapan sa Soniqo, na pinapatakbo ng NVIDIA Nemotron VoiceChat 11B. Microphone mode Ang Apple AEC, dinadaglat ang RNN-T na mga kapsiyon, human-facing realtime metrics, adjustive 8→2→1-spthure ng boses, at naka-up na input ay sa halip na nag-cronize ng long-up.
speech voice-chat [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--model, -m | aufklarer/VoiceChat-11B-Perception-MLX-int5 | Hugging Face model ID o kumpletong lokal na bungkos. |
--revision | main | Pagrebisa sa pamamagitan ng ah. |
--system-prompt | Pabilisin ang sistema. | |
--mcp-config | Provider-neutral JSON configuration para sa MCP tool servers. | |
--mcp-server | lahat ay nakaayos | Pumili ng isang nakaayos na server; ulitin upang pumili pa. |
--mcp-write-policy | allow | Isulat ang patakaran: allow, model-mediated confirm, o deny. |
--mcp-timeout-seconds | 15 | MCP tool-calcal timeout; ang server startup ay nagpapahintulot ng hindi bababa sa 60 segundo. |
--greet | Hilingin sa modelo na batiin muna siya. | |
--no-aec | Ang di - kanais - nais na akustikong alingawngaw ng Apple ay napapawi. | |
--no-transcript | Disable live RNN-T user kapsiyon. | |
--no-rnnt-turn-taking | Disable NVIDIA RNN-T turn-pagkuha ng mga unback na pangkaligtasan. | |
--prebuffer-frames | 3 | 80 ms output frames na naka-stat bago maglaro. |
--max-buffered-frames | 8 | Maximum queued 80 ms mikropono frames bago ang lumang audio ay ibinaba. |
--max-seconds | Itigil ang live hulid pagkatapos ng maraming segundong ito. | |
--input | Basahin ang audio file sa halip na ang mikropono. | |
--output, -o | Isulat ang full-context 22.05 kHz WAV. | |
--tail-seconds | 6 | Ang katahimikan ay isinumite pagkatapos ng file input. |
--force-turn-at-end | Force BOS sa file EOF; regresyon tests lamang. | |
--plain | Gumamit ng apend-lamang output sa halip ng nakapirmeng redraw dashboard. | |
--debug-timeline | Ipakita ang relatibong parirala at advolution-pronunciation-end timestamps platformed tool-cally cycle. | |
--terminal-width | 120 | Terminal display ang lapad. |
--temperature | 0 | Text temperature; 0 ay sakim. |
--text-top-p | 1 | Text toper-pop. |
--guidance | 0.2 | DENT-TTS guidance lakas. |
--speech-top-p | 0.95 | TANDAAN-TTTS top-pop. |
--speech-noise | 0.001 | Nasubukan ng mga prefanta-TTS ang ingay. |
--speech-iterations | 8 | TANDAAN-TTTS MasKGIT turnations kada frame. |
--realtime-speech-iterations | 2 | Ang komplementaryong badyet ng voice-refilement na ginagamit upang protektahan ang realtime speed; ang matinding sobrang dami ay gumagamit ng isang hakbang. |
--live-speech-context-seconds | 20 | Ang kamakailang kasaysayang premier-TTTS ay nanatili sa live mode; 0 ay nag-iingat ng buong kasaysayan. |
Mga halimbawa:
speech voice-chat
speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3
speech voice-chat --input question.wav --output response.wav
speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json
Kasama MCP ay nakapag-produce, model-native call JSON at bumalik na tool-response tokens na ginagamit NVIDIA''s two-phase asynchronous function path sa isang cached stunt embending. Walang transcripted storder, regular-expression paterno, reflection state, o scripted assistant relection: ang checkpoint lamang ang pumipili ng isang kasangkapan at ang mga argumento nito. Ang coordinator ay nagbibigay-diin lamang sa katutubong JSON, ay naglalapat ng pagbasa/impormasyon, pinapatay ang napiling patakaran ng pagsulat, pinapatay ang pinili MCP mag - opera, at bumalik na inayos ang mga resulta sa pamamagitan ng sinanay na election channel. allow Sa patakaran, ang pag-aalis ng ikalawang kumpil ay nagreresulta mula sa mga paalalang demo; ang isang magkatulad na natapos na sulat ay pinipigil pa rin hanggang sa bagong tagagamit ng pananalita. confirm tangi lamang kapag ang model-mediated na kumpil ay maliwanag na ninanais, o deny Upang tumanggi sa pagsusulat. MCP utos ay tumatakbo sa lokal na may filesystem at applications ng gumagamit, kaya gamitin lamang ang mga pinagkakatiwalaang configuration files at server pakete.
Ang Microphone perception at RNN-T na mga kapsiyon ay nagpapatuloy sa pagitan ng mga modelong hakbang, habang ang panlabas na mga panlabas MCP Ang I/O ay tumatakbo sa isang hiwalay na gawain. Ang mga rehiyon ng speak-maning mikropono na nakuha habang ang kabahaging function cache ay abala habang ang mga sinuring embeding at replayed causly matapos ang resulta, kaya ang isang kapsiyoned na follow-up ay hindi na itinatapon. Ang replay ay limitado sa isang lumang semantic frame sa bawat live callback; ang kaukulang bagong frame ay nananatiling queued, replay text ay sapilitang sa PAD, at ang-elaped audio ay hindi kailanman queuitying sa nagsasalita. Ang mga naka-out na mga posisyong STTS-TS STS STTHTHTS stacked, ang mga ST-exTHTV-exTFramed. Ang walong seckedboard ay sa mga ST. MCP round trip, at tool-result cache conversion. Decode at resultang mga linya ipakita mo ang modelo/coche compute plus live interleave, ang mga labí na ginagamit ng aktor ay nagbubunga, nag - iingat ng aklat, at nag - iingat sa sistema ng pagtatalo; madaling maunawaan ang audio RTF ay hindi nasusukat sa background na iyon. Minsang bukas ang tawag, ang sapilitang-PAD text channel ay nag-eebolb sa hindi nagamit na full-vocabulary projection nito. Pagkatapos ng EOTC, ang dalawang-phase path ay nagreresulta sa pinagsaluhang wika at user-TTS timeline habang ang panlabas na resulta ay naka-set; ang mga frame ng mikropono ay nananatiling buhay para sa pang-unawa at ang RNNN-T ngunit hindi nagiging sintetikong mga posisyon ng PAD bago ang resulta. 16-Tokken causal-prefill na mga tipak, at ang buháy na loop ay kababasahan ng isang magkakaugnay na akseso at isa na gumagana MCP Isipin ang bawat larawan 160 Mga m sa halip na gumawa ng ilang tawag sa aktor pagkatapos ng bawat balangkas ng mikropono. 40-frame RNN-T safety fallback, habang ang isang dati nang-proposed na katutubong kagamitang kandidato ay maaaring gawin pagkatapos ng walong blankong frames. Ang teksto at gumaganang mga channels ay pareho pa rin ng isang Nemotron-H cache, kaya ang magkakaugnay na resulta-kombinasyong pagsasalita ay nagsisimula lamang pagkatapos ng function featment; ang hindi ligtas na tumatakbo bilang ikalawang causal na hinaharap sa kahalintulad.
Malinis M5 Pro 48 Sinukat ang GB release profile 3.56–4.00 mga segundo mula sa dulo ng pagsasalita hanggang sa unang modelo-authored post-tool speech para sa tatlong reflect-list prashings na may nakatakdang 200 Katutubong JSON decoding na ginagamit 27–31 mga hakbang sa 1.15–1.28 mga segundo, at isang 67-Kasabay ang resulta 0.58–0.72 Sa pamamagitan ng isang sadyang mabagal na dalawang-second provider, ang gawain ng mikropono sa panahon ng paghihintay ay nanatili 19.6 ms p95 at 19.8 Hanggang sa sukdulan, ang huling malinis na pagtakbo ay sinusukat 118 ms mikropono-service p95 at 139 ms p95 Pagiging huli sa kabila pa roon 80 Ang provider samakatuwid ay nagdaragdag ng tugon sa huli nang walang pagyeyelong paghuli; ang natitirang compute limit ay katutubong tawag na decoding plus share-cache na resulta replay.
Inilalantad lamang ng may bungkos na demo list_reminders, create_reminder, at update_reminder; ang pagtuklas ng listahan ay nananatiling pang-edukasyon-private. Ang isang patag na paalala ay nagbabasa sa bawat listahan ng EventKit at pinapalitan ang mahabang provider na mga UUD ng matatag, sesyon-scoped na mga reperensiya gaya ng mga "copt" r1. Updates ay nagbabalik ng isa sa mga model-visible na reperensiyang iyon, at ang adapter ay nagreresulta dito nang eksakto bago patayin; ito ay hindi kailanman tumutugma sa mga binibigkas na pangalan o transcript na teksto. No-op updates at ang mga seleksiyong seleksiyonal ay itinatakwil sa halip na iniulat bilang matagumpay na mga pagbabago. Ang isang kontroladong update regresyon ay nahulog mula sa isang kontroladong pag-reregresyon. 67 Mga katutubong hakbang / 5.25 mga segundo na may makatotohanang UUD 37 Mga hakbang / tungkol sa 2.29 mga segundo na kasama ng r1. Ang paggawa ay nangangailangan lamang ng pangalan samantalang ang opsyonal provider default ay nananatiling opsyonal. Ang umaagos na RNN-T frontend ay gumagamit ng NeMo-compatiable replection padding sa mga gilid ng bintana sa halip na sero na paddid.
Ang talaksang mode ay ang hardware-free reproducible path. --force-turn-at-end ay para lamang sa mga kontroladong regresyon test at hindi dapat iulat bilang natural na turn-couping latency.
audio-salin
Streaming speech-to-speech translation gamit ang Kyutai Hibiki Zero-3B. FR / ES / PT / DE → NT, isang binaryo, walang ulap. Full guide →
speech audio-translate <input.wav> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<input> | Source audio WAV file (mono, rempated sa 24 kHz panloob) (Hinihiling) | |
--output, -o | translated.wav | Inilabas 24 kHz English WAV file |
--source-lang | fr | Kahulugan ng pinagmulang wika (source language sensation)fr, es, pt, de). Auto-detected; metadata lamang. FR + Ang ES ay mahigpit na E2E canaries; ang PT + DE ay pinakamahusay-effort. |
--quantization | 4bit | Variant: 4bit (EX2.7 GB) o 8bit (°3.9 GB) |
--model-id | HuggingFace model idovast (higit pa sa --quantization) | |
--compile | Tumatakbo sa temporal transgender heat-up pass bago isalin | |
--verbose | Palimbagan ng mga per-phase na mga tiyempo (Mimi[kailangan ng sanggunian], henerasyon, Mimi decode) | |
--transcript | Palimbagin ang indibidwal na-monologue na hilaw na SPM na single IDs (Ang sPM decode na kawad ay isang sumusunod na-up) |
Di - nagbabagong Kapaligiran
| May pagkakaiba | Epekto |
|---|---|
HIBIKI_GREEDY=1 | Force argmax decoding para sa teksto + target audio. reproducible – ginamit ng mahigpit na mga CI canary. |
HIBIKI_MODEL_ID | Override ang default aufklarer/Hibiki-Zero-3B-MLX-4bit repo sa panahon ng pagtakbo. |
Mga halimbawa:
# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr
# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose
# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr
tangke
Offline voice activity detection gamit ang Pyannote segmentation.
speech vad <file> [options]
| Mapagpipilian | Paglalarawan |
|---|---|
<file> | Isang talaksan ngudio na dapat suriin |
--model, -m | HuggingFace model ID |
--onset | Nakasingit na pasukan (speech start) |
--offset | Nakabarang pasukan (speech end) |
--min-speech | Mas maikling haba ng pagsasalita sa loob ng mga segundo |
--min-silence | Magaan na katahimikan sa loob ng ilang segundo |
--json | Ilabas Bilang JSON |
vad-stream
Nakapagpapasiglang pagdetek ng boses gamit ang Silero VAD v5. Pinoproseso ang pagsasalita sa 32 Mga tipak ng bato.
speech vad-stream <file> [options]
| Mapagpipilian | Paglalarawan |
|---|---|
<file> | Isang talaksan ngudio na dapat suriin |
--engine | VAD engine: mlx (default) o coreml |
--model, -m | HuggingFace modelo ID (auto-selected by engine) |
--onset | Nakatakdang Hangganan |
--offset | Bigong Pasimula |
--min-speech | Mas maikling haba ng pagsasalita sa loob ng mga segundo |
--min-silence | Magaan na katahimikan sa loob ng ilang segundo |
--json | Ilabas Bilang JSON |
--smart-turn | Tiyakin ang bawat sandali sa pamamagitan ng Smart Turn bago tapusin ang isang bahagi; ang mga paghinto sa kalagitnaan ng gabi ay nagsasama - sama sa isang bahagi |
--turn-threshold | Smart Turn tapusin ang pasukan (default 0.5) |
--turn-max-silence | Mga segundo ng katahimikan pagkatapos ng isang vetoed na paghinto na nagwawakas sa bahagi (default 2.0) |
pagliko
Wakas-of-turn na pagtutop sa pamamagitan ng Smart Turn v3.2 (8M params, CoreML, mga 23 languages). dinadaglat ang huling 8 s ng isang naitalang pagsabi at pagkalimbag ng probabilidad na natapos na ng nagsasalita, ang kumpleto / hindi kumpletong hatol, at ang di-malay na panahon.
speech turn <file> [options]
| Mapagpipilian | Paglalarawan |
|---|---|
<file> | Isang talaksang pang-udio na may isang user turn (anumang sampol na bilis); ang huling 8 s ay ginagamit |
--threshold | Ang pagiging maayos sa o sa itaas kung saan ang ikot ay mahalaga bilang kompleto (default 0.5) |
--model, -m | HuggingFace model ID. Defaults to aufklarer/Smart-Turn-v3.2-CoreML |
--model-dir | Ang lokal na directory na may hawak na smart_turn.mlmodelc at config.json; nilalampasan ang download |
--json | Ilabas Bilang JSON |
# Probability, verdict and inference time for one utterance
speech turn utterance.wav
# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json
# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5
ng paggising
On-device shoat-word / keyword spoting gamit ang KWS Zipilyo (3.49M params, CoreML INT8, 26× real-time, Ingles lamang).
speech wake <file> [options]
| Mapagpipilian | Paglalarawan |
|---|---|
<file> | Isang talaksan ngudio na dapat suriin |
--keywords | Isa o higit pang mga susing salita. Formats: "hey soniqo" (PANGINOE BPE), "hey soniqo:0.15:0.5" (na may Clock/boost), o "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0" |
--keywords-file | Pangunahing talaksan, isang ipinasok sa bawat linya (gaya ng --keywords); # para sa mga komento |
--model, -m | HuggingFace model ID. Defaults to aufklarer/KWS-Zipformer-3M-CoreML-INT8 |
--json | Ilabas Bilang JSON |
# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"
# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"
# Multiple phrases + JSON output
speech wake recording.wav \
--keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
"for ever|▁FOR E VER:0.25:2.0" \
--json
diaperente
Pagsasalita — kilalanin kung sino ang nagsasalita kung kailan.
speech diarize <file> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<file> | Isang talaksan ngudio na dapat suriin | |
--engine | pyannote | Ang makinang diarization: pyannote, community1 (CoreML + katutubong PLDA/VBx), sortformer, o nemotron3 |
--nemotron3-backend | coreml | Nemotron 3 backend: coreml o mlx |
--nemotron3-directory | Optional local Nemotron 3 modelong bungkos | |
--nemotron3-compute-units | ane | Mga yunit ng CoreML: ane, cpu, gpu, o all |
--community1-compute-units | ane | Community-1 CoreML comute units: ane, cpu, gpu, o all |
--num-speakers | Kilalang tumpak na bilang ng tagapagsalita para sa Community-1 | |
--min-speakers | 1 | Minimum speaker count para sa Community-1 |
--max-speakers | Maximum speaker count para sa Community-1 | |
--target-speaker | Inrolment audio para sa puntiryang pagkuha ng tagapagsalita (pyannote lamang) | |
--embedding-engine | mlx | makinang nagsasalita ng embudyting: mlx o coreml (pyannote lamang) |
--vad-filter | Pre-fille na may Silero VAD (pyannote lamang) | |
--rttm | Isulat sa RTM format | |
--json | Ilabas Bilang JSON | |
--score-against | Reference RTTM file upang mag-compute ng masDER |
Mga halimbawa:
# Basic diarization (pyannote, default)
speech diarize meeting.wav
# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6
# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer
# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx
# RTTM output for evaluation
speech diarize meeting.wav --rttm
# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav
# Score against reference
speech diarize meeting.wav --score-against reference.rttm
emibed-speaker
Kumuha ng isang tagapagsalita na nag - eembeding ventor mula sa audio.
speech embed-speaker <file> [options]
| Mapagpipilian | Paglalarawan |
|---|---|
<file> | Isang talaksan ngudio na naglalaman ng tinig ng tagapagsalita |
--engine | mlx (default) o coreml Para sa WeSpeaker 256-dim; redimnet2 para sa patuloy na pagkakakilanlan CoreML 192-dim; camplusplus para sa CAM++ CoreML 192-dim |
--json | Ilabas Bilang JSON |
wika-id
Alamin ang wikang sinasalita sa isang audio file.
speech language-id <file> [options]
| Mapagpipilian | Paglalarawan |
|---|---|
<file> | Audio file para uriin |
--engine | Inference engine: mlx o coreml |
--model | Override the Hugging Face model ID |
--top | Bilang ng mga kandidato sa wikang may ranggo |
--json | Ilabas ang resulta Bilang JSON |
speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json
denoise
Alisin ang ingay sa paligid gamit ang DeepFilterNet3 sa Neural Engine.
speech denoise <file> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<file> | Ilagay ang audio file | |
--output, -o | input_clean.wav | Labasan ang landas ng talaksan |
--model, -m | HuggingFace model ID |
Halimbawa:
speech denoise noisy-recording.wav -o clean.wav
Kumakatha
Generate 30 s ng musika mula sa isang advanced ng teksto gamit ang MAGNET sa MLX.
speech compose <prompt> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<prompt> | Ang teksto ay nag-uudyok ng paglalarawan ng musika upang lumikha (hal.g. "Masayang rock") | |
--output, -o | magnet.wav | Output WAV path (32 kHz mono) |
--variant | small-int4 | Pagkakaiba ng Modelo: small-int4, small-int8, medium-int4, o medium-int8. Mga pasiya sa aufklarer/MAGNeT-{Small,Medium}-30secs-MLX-{4,8}bit. |
--temperature | 3.0 | Sa napakalamig na temperatura, ang annealed li ay halos bawat yugto. |
--top-p | 0.9 | Mga halimbawa ng nuclearus ang nagsisimula. |
--cfg-max | 10.0 | Max classifier-free guide cofict. |
--cfg-min | 1.0 | Min CFG cobicture (na katabi ng iskedyul ng maskara). |
--steps | 20,10,10,10 | Comma-published decoding serations per codebook (4 na halaga). |
--seed | Ang waldom seed para sa reproducible output. |
Mga halimbawa:
# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav
# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav
# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav
Explace-batch
Transcribe ang isang directory ng mga audio file; ang modelo ay nakakarga minsan.
speech transcribe-batch <input-dir> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<input-dir> | Direktoryo ng mga audio files to transcribe (WAV, FLAC, atbp.) | |
--output-dir | Ilabas na directory para sa mga transcript | |
--engine | qwen3 | ASR engine (parehong mga halaga na gaya ng speciple) |
--jsonl | Gumawa ng mga resulta bilang mga linya ng JSON, isa sa bawat file |
ibabalik
Restore speech (denoise + dereverb) na may Sidon — CoreML, 48 kHz output.
speech restore <audio-file> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--output, -o | input_restored.wav | Output WAV file path (48 kHz) |
--variant | fp16 | Precision / bungkos na mga pagkakaiba |
--compute-units | Core ML placement para sa dalawang yugto: ane, gpu, cpu, lahat (default:vocoder gpu (paglilinaw), regulator auto) |
hiwalay
Paghiwalayin ang isang music track sa tangkay (vocals, drums, bass, iba pa).
speech separate <input> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--stems | vocals,drums,bass,other | Mga bagay na kukunin: mga kuwerdas, tambol, bass, iba pa |
--engine | umx | Kasangkapan: umx (default) o htdemucs (mas mataas na uri) |
--output-dir | Ilabas na directory para sa mga transcript |
upsample
Audio super-resolution kasama ang FlashSR — one-steep distilled AudioSR, 48 kHz output.
speech upsample <audio-file> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--output, -o | hr.wav | Output WAV file path (48 kHz) |
--variant | int4 | Precision / bungkos na mga pagkakaiba |
--seed | Binhi para sa deterministikong output |
qwen3-tts-coreml
Swift suporta 0.6B/256 at 1.7B/1024 mga bungkos; 0.6B ang nananatiling default. 1.7 Mga default sa brock CPU at nangangailangan ng isang inihanda 2048-Anglon Float32 .npy nagsasalita sa pamamagitan ng pag - eembed --speaker-embedding. GPU/ANE at iOS professionation ay nananatiling hiwalay.
speech qwen3-tts-coreml "<text>" [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--output, -o | output.wav | Ilabas na WAV file path |
--language | english | Ilabas ang wika |
--model | Hugging Face model ID | |
--model-directory | — | Ang lokal na tinipong modelong bungkos; una rito ang pag - download ng --model. |
--speaker-embedding | — | Handang Float32 .npy speaker embeding na tumutugma sa modelong lapad (1024 o 2048). |
Boses ng vibe
Text-to-speech na may Microsoft VibeVoice (MLX).
speech vibevoice "<text>" --voice-cache <cache> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--voice-cache, -v | Boses ng boses mula sa vibevoice-encode-voice (required) | |
--steps | DPM-Solver division steps (mas mataas = mas magandang kalidad) | |
--cfg | 1.3 | Lakas sa pag-uri-free guidance |
--long-form | Ipinintang long-form synthesis para sa mga mahahabang teksto |
vibevoice-encode-voice
Bawasan ang isang imbakan ng boses na VibeVoice mula sa isang reperensiyang rekording at mga kopya.
speech vibevoice-encode-voice <input> "<transcript>" [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
<input> | Reference audio file | |
<transcript> | Isinalin ang reperensiyang audio (Ingles lamang) | |
--output, -o | Ilabas ang mode ng boses (. ligtas na tensor) |
salin
Isinalin ang teksto sa isang puntiryang wika na may MADLAD-400 (MLX).
speech translate "<text>" --to <lang> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--to, -t | Target language code (ISO 639-1, e.g. es, zh, ja) | |
--stream | Mga markang stream habang ang mga ito ay nag - aalis ng laman | |
--model | Hugging Face model ID |
clef
Pumili mula sa pinahihintulutang sagot gamit ang Clef-flash local sa Apple Silicon. Development preview.
speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096 Ang kahilingan ay naglalaman ng teksto state at isang utos questions Bawat larangan ay may kani - kaniyang larangan id at a type: choice na may a choices mapa, noul para sa tunay/bulaan, o score na may utos levels. Output ay JON na may mga probability, piniling sagot, bahagyang pagbilang, model-load na oras, at panahon ng desisyon.
Sa pamamagitan ng default, ang utos ay naka-download aufklarer/Clef-flash-9B-MLX-4bit. Gamitin --model-dir para sa umiiral na mga file o --offline para sa cache. Nililimitahan ng token ang mga default sa 4096 at tinatanggap ang 1–16384. Tingnan ang ZXAXZ. Gabay pangabay sa Clef para sa kumpletong kahilingan at pagsukat sa paggamit ng memorya.
gliner
Schema-conditioned text classification at entity spans na may GLiNER2.5-Decide (MLX). Development preview: hindi pa nilalabas.Gmitin ang teksto upang basahin ang stdin.
speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--variant | int8 | Inilathalang mga timbang na i-download: fp32, fp16 o int8 |
--model | Hugging Face Ang pag - iimbak ay nananaig | |
--model-dir | lokal na modelong directory sa halip na mag - download | |
--labels | Comma-extified na mga tatak ng kandidato (1 hanggang 255, bukud-tangi) | |
--description | Label na paglalarawan bilang label=text; nauulit | |
--task | pagkilos | Task na pangalan sa schema agarang (classified only) |
--threshold | 0.5 | Kaunting iskor para sa span (ilabas lamang) |
--evaluate-layers | Isa - isang ikinakabit ang calcer sa isang pagkakataon upang ibaba ang sukdulang memorya | |
--json | DUMUHAY sa bawat probabilidad, o mga span na may UTF-16 offsets, at mga tiyempo |
avatar-motion
Generate NVIDIA Audio2Face-3D avatar-motion cobicture frames from speech audio.
speech avatar-motion <input> [options]
| Mapagpipilian | Pagkawasak | Paglalarawan |
|---|---|---|
--output, -o | avatar-motion.jsonl | Labasan ang daanan ng talaksang JSONL |
--model | …James-MLX | Avatar identity brock (James default; Claire at Mark available) |
--verbose | Mahalaga ang panahon at balangkas ng mga literatura |
MOS-TTS-Nano
Gumamit ng --voice-sample para sa voice cloning; walang reperensiyang transcript ang kinakailangan. mono Ang mga reperensiya ay nagaya sa stereo, muling ini-samp sa 48 kHz at may sapin sa isang 80 ms hangganan. Encode a reference minsan at muling gamitin ang mga code nito sa ibayo ng mga kahilingan.
speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
--voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav--moss-nano-model | Aufklarer/MOSS-TTS-Nano-100M-CoreML | Modelong restorasyon o lokal na directory |
--moss-nano-compute-units | cpu | cpu o gpu |
--moss-nano-max-frames | 300 | Maxium 80 ms frames; kailangan ang likas na EOS |
--moss-nano-seed | 0 | Reproducible Swift sampol na binhi |
Ang lokal na katutubong pahiwatig
Para sa 12B, ang paulit-ulit na katabing mga kasangkapan-tawag na pagsasara ng mga marker pagkatapos ng isang kumpleto, regulatoryong tawag ay nakukwenta sa pamamagitan ng tawag na iyon. Hindi sila lumilikha ng ibang tawag o pagbabago sa mga argumento nito. Ang mga stagealone marker at mga argumentong diperensiyal ay nananatiling mga pagkakamali; E4B ay nagpapanatili ng mahigpit na paghawak.
Upang mapanatili ang bigong katutubong mga kahilingan sa chat, set failureCaptureDirectory Ang direktor ay hindi naka - default, at dapat na hindi ito kasama ng iba pang mga direktor; ang mga bagong direktory ay gumagamit ng mga bagong direktor 0700 at ang mga talaksang bigo ay gumagamit 0600. Ang mga talaksan ay kinabibilangan ng eksaktong request body, request ID at error. Completed 12B generations ay nagpapanatili rin ng iginawad na advanced, token IDs, hilaw output at top katwiran bago ang parps. E4B fails ay walang hilaw na rekord ng henerasyon. Ang mga lokal na file na ito ay naglalaman ng mga pagkakamali sa pag-uusap at kagamitan; ang HTTTP ay hindi kasama ang mga ito.
Ipinintang ng ahenteng opsyonal na Direktoryo ang isang nakadispley Gemma 4 12Ipinakilala INT4 modelo ng teksto sa tabi E4B. Gumamit ng modelo: "gemma4-12b-it" para makipag - usap sa katutubong mga kagamitan, ang resulta'y kasaysayan, at pagpapawalang - bisa. E4B ay maaari pang makuha para sa iba pang mga kahilingan. Gemma4UnifiedChat ginagamit ang pindutan MLX Ang pagpapatupad ng teksto at paglalabas ng bawat request features KV cache. Ang tugon parsing ay nag-aalis ng channel deliters mula sa ibinalik na teksto. ang mga overpled tool-call deters ay tinatanggihan bilang mga hindi maayos na tugon.
Ang pinagmumulan ay tumatanggap --inference-manifest mga modelo.json upang ikarga ang nakatanghal Gemma 4 E4B INT4, VoxCPM2, buo Whisper Large-v3, at Silero VAD. Ang serbisyong ito ay nagsisimula at tumatanggi sa hindi katugmang huwarang pagkakakilanlan.
speech-server --inference-manifest models.json --port 8080Voxtral TTS
Voxtral 4B TTS 2603 ay lokal na tumatakbo sa Apple Silicon sa pamamagitan ng Voxtral TTS module: 20 preseted voices, siyam na wika, at 24 kHz mono speech.
speech speak "Hello, welcome to Voxtral." --engine voxtral --voxtral-voice casual_male --stream --voxtral-chunk-frames 3 -o hello.wav
speech speak --engine voxtral --list-speakers
speech speak "Bonjour." --engine voxtral --voxtral-voice fr_female --voxtral-max-frames 500 --voxtral-seed 0 -o bonjour.wavAng mga preset voices lamang; reference-audio cloning ay hindi makuha. Ang audio output ay dumadaloy sa SDK, CLI, WebSocket at HTTP PCM. Isumite ang kumpletong input text up front. Ang mga model weights ay gumagamit ng CC BY-NC 4.0.
Fish Audio Drama 3
Ang eksperimental na suportang MLX para sa Drama 3 ay makukuha sa pamamagitan ng FishAudioDrama3Model. A. 35 Ang hybrid-tension MoE stand, temporal audio tower at Fish DAC codec ay gumagawa ng codec 44.1 kHz mono audio. 4-bit ang checkpoint ay pumasa sa waveform at independent ASR mga tseke para sa teksto-tanging henerasyon, reference cloning at CLI output sa Apple M5 Pro. 8--bit at BF16 ay hindi pa naililipat.
Pagmememorya balanced ay ang default. Idle MLX Mga neutral na lisensya ay tinatabas sa itaas ng 512 MiB sa mga hangganan ng entablado; ito ay hindi isang kabuuang-memory limit. Global allocator limits ay nananatiling hindi nagbabago. --fish-drama3-memory-mode unrestricted o memoryOptions: .unrestricted para sa sabik na pagbuhat at ang dating nakasasakit na paggawi.
Ang Text-ly generation defers 794.4 MiB ng reference calcer weights. Ang unang reperensiya na nagreresulta ng mga karga at nagpanatili ng mga ito, kaya't panatilihin ang codec.safetensors available hanggang sa noon. ang mga precomputed reference code ay hindi nangangailangan ng reciever.
Ilaan ang kumpletong input text. Ang Voice cloning ay nangangailangan ng reference clip at ang eksaktong transcript nito. Ang Speaker tags 0–15 at mga inline emosyon ay suportado. PCM clowing ay makukuha sa pamamagitan ng pag-excide generateStreaming, generateStream at --stream. Ang default figure ay naglalaman ng 3 codec frames, tungkol sa 139 ms ng audio. automatic long-text standing at streaming text input ay nananatiling hindi magagamit.Ang pag-abot sa limitasyon ng frame ay nag-iisyu ng mali.
speech speak "Hello from Drama 3." --engine fish-drama3 --fish-drama3-bundle-dir /path/to/bundle -o hello.wav
speech speak "Hello from Drama 3." --engine fish-drama3 --stream --fish-drama3-chunk-frames 3 -o streamed.wav
speech speak "Hello in the reference voice." --engine fish-drama3 --voice-sample reference.wav --fish-drama3-reference-text "The exact reference transcript." --seed 42 -o cloned.wavimport FishAudioTTS
let model = try await FishAudioDrama3Model.fromBundle(bundleURL, memoryOptions: .balanced)
let pcm = try await model.generate(text: "Hello from Drama 3.", options: .init(seed: 42))| Mapagpipilian | Pagkawasak |
|---|---|
--fish-drama3-model-id | mlx-community/fish-audio-drama-3-4bit |
--fish-drama3-bundle-dir | — |
--fish-drama3-reference-text | — |
--fish-drama3-max-frames | 2048 |
--fish-drama3-temperature | 1 |
--fish-drama3-top-k | 30 |
--fish-drama3-top-p | 0.9 |
--voice-sample | — |
--seed | 0 |
--stream | false |
--fish-drama3-chunk-frames | 3 |
--fish-drama3-memory-mode | balanced |
Itinayo sa pamamagitan ng Fish Audio. Bundles ay nagpapanatili ng Community License at HINDI SICE.