Awtomatikong salin · Orihinal sa Ingles

Sanggunian ng CLI

Breeze TTS 2 ·EzeTTS

English/Chinese TTS na may disenyo ng boses, reference cloning at direksiyon, at streamed audio (MLX BF16/8-bit, 24 kHz; research/non-commercial lisensiya).

BreezeTTTS · CLI · Swift API

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav
  • --breeze-model-id: aufklarer/Breeze-TTS-2-MLX-8bit
  • --breeze-bundle-dir
  • --breeze-cache-limit-mib: Optional process-wide reusable MLX cache budget sa MiB; 0 ventruits caching.
  • --breeze-reference-text
  • --breeze-temperature: 0.9
  • --breeze-top-k: 50
  • --breeze-top-p: 1
  • --breeze-cfg-scale: 4
  • --breeze-max-frames: 750
  • --breeze-seed: 42
  • --first-chunk-frames: 3
  • --chunk-frames: 25

Katutubong Apple runtime · PocketTTS

Ang PocketTTS ay nagdaragdag ng katutubong CoreML speech synthesis sa speech-swift. lahat ng mga yugto ay default sa CPU-lamang pagpatay. Ang Ingles na Alba preseted streams 1,920-sample frames sa 24 kHz (80 ms kada frame).

Ginamit ang Swift at CLI

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

Ang speech command ay ang entry point para sa lokal na pagproseso ng pagsasalita.

Iluklok na may Homebrew

Sa Apple Silicon na may macOS 15 o mas bago, i-install ang CLI gamit ang Homebrew:

brew install speech
speech --help

Upang i-update ang isang umiiral na installment, patakbuhin brew upgrade speech.

Alternatibong paraan: gumawa mula sa pinagmumulan

Sa Isang Kuwarto speech-swift mag - checkout, tumakbo make build, pagkatapos ay gamitin .build/release/speech. Tingnan ang Pagkakuha ng panimulang giya para sa mga demand at source-build na instruksiyon.

Mga Tagapagsalin

Isulat ang mga audio file.

speech transcribe <file> [options]
Mapagpipilian Pagkawasak Paglalarawan
<file>Audio file to transcribe (WAV, M4A (tulong), MP3XZ, CAF)
--engineqwen3ASR makina: qwen3, qwen3-coreml, parakeet, nemotron, omnilingual, cohere, voxtral, moss, whisper
--model, -m0.6B Pagkakaiba ng Modelo: 0.6B, 1.7B, o full HuggingFace model ID (qwen3 lamang) [whisper]: default, turbo, o full CoreML HuggingFace repo ID.
[cohere/voxtral]: INT5 (default), INT8, FP16 ay isang modelong Hugging Face na ID, o isang lokal na directory. [moss coreml]: int8 (default) o fp16; [moss mlx]: int5 (default) o int8 Ang . MOSS ay tumatanggap din ng isang koordinado na Hugging Face resource ID o lokal na directory.
--max-tokensCoreML: 512
MLX: 5120
[moss] Ang Maximum ay gumagawa ng mga transcript na paunawa.
--kv-cachefp16[moss mlx] Dynamic KV-cache prepektura: fp16 o int8.
--language Ipinahihiwatig ng wika (opsiyonal, hindi pinapansin ng omnilingwal)
--window10[omnilingual] CoreML sukat ng bintana sa mga segundo: 5 o 10
--backendcoreml[omnilingual/moss] Likod: coreml (Neural Engine) o mlx (Metal GPU). MOSS MLX nagbibigay ng dinamiko 131,072- Ang konteksto; MOSS CoreML gumamit ng nakapirme 1,024- Tuloy na kalagayan.
--variant300M[omnilingual mlx] Laki: 300M, 1B, 3B, o 7B
--bits4[omnilingual mlx] Quantiation bits: 4 o 8
--streamMaaring dumaloy na transcription na may VAD
--max-segment10 Haba ng mga bahagi ng Maximum sa loob ng mga segundo (streaming)
--partial Bahagyang mga resulta sa panahon ng pagsasalita (streaming)

Mga halimbawa:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

Kasuwato ng

Word-level sapilitang paghahanay – makakuha ng mga tiyak na timestamps para sa bawat salita.

speech align <file> [options]
Mapagpipilian Pagkawasak Paglalarawan
<file>Audio file
--text, -t Teksto sa Pagtutugma (kung hindi isinama, una munang isalin)
--model, -m0.6BASR modelo para sa transcription: 0.6B, 1.7B
--aligner-modelPwersahang modelong pantelebisyon na ID
--language Ipinahihiwatig ng wika

Mga halimbawa:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

magsalita

Text-to-speech synthesis.

speech speak "<text>" [options]
Mapagpipilian Pagkawasak Paglalarawan
<text>Text to synthesis (opsiyonal kung gumagamit ng --batch-file)
--engineqwen3TTS makina: qwen3, cosyvoice, voxcpm2, indextts2, f5, higgs, breeze, indic-mio, magpie, o magpie-coreml, moss-nano, fireredtts3, moss-voicegenerator
--output, -ooutput.wavIlabas na WAV file path
--languageenglish Wika. Omit upang gamitin ang katutubong diyalekto ng tagapagsalita kapag itinakda ang --speaker.
--stream Madaling Tuloy na Sintesis
--voice-sampleReference audio para sa voice cloning (mga gawaing ginagamitan ng "work " qwen3, cosyvoice, voxcpm2, f5, higgs, at indextts2)
--verbose Ipakita ang detalyadong info ng orasan

Qwen3-TTS Options

Mapagpipilian Pagkawasak Paglalarawan
--modelbaseKaibahan ng Modelo: base, customVoice, o ganap na modelong HF ID
--speaker Tinig ng tagapagsalita (requires --model customVoice)
--instruct Pagtuturo ng istilo (CustomVoice model)
--list-speakersListahan ng magagamit na mga tagapagsalita at labasan
--temperature0.3 Nakaiiksing temperatura
--top-k50 Itaas na mga halimbawa
--max-tokens500Maximum tokens (500 = °40s audio)
--batch-file Sawi ang pagbasa ng talaksang '%s': %s
--batch-size4Max na laki para sa katumbas na salinlahi
--first-chunk-frames3 Mga balangkas ng comedc sa unang streamed scale
--chunk-frames25 Ang mga balangkas ng modelo sa bawat sapad na tipak ng bato

CosyVoice3 Options

Mapagpipilian Pagkawasak Paglalarawan
--speakersSpeaker na paggawa ng mapa para sa multi-specker na diyalogo: s1=alice.wav,s2=bob.wav
--cosy-instruct Ang pagtuturo ng istilo (overrides default). ay kumokontrol sa estilo ng boses para sa CosyVoice3.
--turn-gap0.2 Ang katahimikan sa pagitan ng pag - uusap ay nagbabago sa loob ng mga segundo
--crossfade0.0 Pagsang - ayon sa pagitan ng mga pagliko sa loob ng mga segundo
--model-idHuggingFace model ID

VoxCPM2 Options

Mapagpipilian Pagkawasak Paglalarawan
--voxcpm2-variantbf16Quantisation variant: bf16, int8, o int4. Mga pasiya sa aufklarer/VoxCPM2-MLX-<variant>.
--voxcpm2-instructNatural-wika voice deskripsiyon (voice design), e.g. "isang dalaga, magiliw at magiliw".
--voxcpm2-ref-audioReference audio file para sa cloning (16 kHz mono, rempared internally).
--voxcpm2-prompt-audio / --voxcpm2-prompt-text"Ultimate cloning" pares – reference clip + ang transcripsyon nito para sa prosody-preservation cloning.
--voxcpm2-cfg-value2.0Classifier-free guidance scale para sa diffication sampolr.
--voxcpm2-timesteps10Si Euler ang gumagawa ng mga hakbang sa bawat audio pattern.
--voxcpm2-max-tokens2000Lumikha ng mga patseng Max bago sapilitang huminto.
--voxcpm2-min-tokens2Papulahin ang mga patse bago pa man paputukin ang ulo ng top.
--seed Binhi MLX RNG bago ang synthesis (deterministiko sa ibayo).

IndexTTS2 Options

IndexTTS2 ay isang kilometro sero-shot na voice-cloning engine na sinusuportahan ng isang pinalawak na MLX brock. Ito ay nangangailangan ng --voice-sample at sa kasalukuyan ay nagpapatakbo lamang ng distributed synthesis.

Mapagpipilian Pagkawasak Paglalarawan
--indextts2-model-idaufklarer/IndexTTS2-MLX-fp16HuggingFace model ID. Defaults to aufklarer/IndexTTS2-MLX-fp16.
--indextts2-bundle-dirPasanin ang isang lokal na pinalawak na bungkos sa halip na mag - download mula sa Hugging Face.
--indextts2-emotion-audioOptional emosyon/style reference audio. Defaults to the speaker reference.
--indextts2-emotion Ang mga opsyonal na preset o 8-halagang emosyon ay kinabibilangan ng vector. eager, happy, excited, at calm.
--indextts2-emotion-weight1.0Talaksan --indextts2-emotion; panatilihing katamtaman ang mga bagay na may kaugnayan sa pagkakakilanlan ng tagapagsalita.
--indextts2-speaking-rate1.0 Nagsasalita-rate multiplier mula 0.5 hanggang 1.5; mas mabilis ang mga halaga sa ibabaw ng 1.0.
--indextts2-max-pauseOptional cap para sa mahabang panloob na low-energy tumigil, sa loob ng mga segundo.
--indextts2-s2mel-steps15S2Mel mga hakbang ng daloy (default 15, ear-validated; 25 posporo pasalungat sa eksaktong taas)

F5-TTS Options

Mapagpipilian Pagkawasak Paglalarawan
--f5-reference-textReference transcript: ang nilalamang teksto ng --voice-sample (required)
--f5-steps16Agos-match na mga hakbang (default 16; 32 para sa sukdulang katapatan)
--f5-cfg-strength2.0 Lakas sa pag-uri-free guidance
--f5-sway-1.0 Mga Halimbawa sa Sway na Hindi Empleto
--f5-speed1.0Madaming Nagsasalita
--f5-seed0 Binhi para sa deterministikong output
--f5-target-rms0.1 Ang target ng RMS na normalization
--f5-model-idHugging Face model ID
--f5-bundle-dir Dalhin ang isang bungkos mula sa lokal na directory

Higgs TTS 3 Options

Mapagpipilian Pagkawasak Paglalarawan
--higgs-ref-textReference transcript: ang nilalamang teksto ng --voice-sample (improves cloning)
--higgs-temperature0.8Sampling temperature (default 0.8)
--higgs-top-p Mga halimbawang nuclearus Circlock (kapag hindi naka-sign)
--higgs-top-k Itaas na-ksaps cutoff (paglabas sa pamamagitan ng default)
--higgs-max-new-tokens2048 Ang Maximum na lumilikha ng mga audio frame (25 sa bawat segundo)
--higgs-seed0 Binhi para sa deterministikong output
--higgs-model-idHugging Face model ID
--higgs-bundle-dir Dalhin ang isang bungkos mula sa lokal na directory

Mga Mapagpipilian ng Magpie

NVIDIA Magpie-TTTS Multilingual 357M, mga wikang 9 na may 5 hinurnong mga tagapagsalita. Pipihin ang backend na may mga nagsasalita ng ZXQXZ. --engine magpie (MLX, default) o --engine magpie-coreml (CoreML para sa mga malalaking modelo na may MLX na nagpapatakbo ng LocalTransformer + audio embendings). Gagpie giya para sa full per-gage G2P breakdown. Hindi suportado ang mga symbolic link: --voice-sample, --speaker, at --instruct ay tinatanggihan sa tulong ng isang nakatutulong na pagkakamali na nakaturo sa --magpie-speaker sa halip.

Mapagpipilian Pagkawasak Paglalarawan
--magpie-variantint4MLX-lamang. Quantisation: int4 (247 MB) o int8 (411 MB). aufklarer/Magpie-TTS-Multilingual-357M-MLX-<variant>. Ang CoreML engine ay gumagamit ng INT8 CoreML brock at hindi pinapansin ang bandilang ito.
--magpie-speakersofiaBaked speaker: sofia, aria, jason, leo, o john. Identity ay hindi pabagu-bago sa lahat ng 9 wika at parehong backends.
--magpie-temperature0.6Sampling temperature (0 = sakim). 0.6 para sa mga Hapones — ang kasakiman ay nananatili sa unang parirala.
--magpie-top-k80Pansalang pang-itaas para sa mga halimbawa.
--magpie-max-frames500Hard cap sa mga kuwadro ng codec (imperyo23 s).
--magpie-min-frames4 Minaliit na balangkas bago payagan ng EOS.
--magpie-prephonemizedTreatise input as IPA / phoneme stream; dive per-wika G2P.
--list-speakersIlimbag ang 5 hinurnong tagapagsalita at labasan.

Mga yungib ng magpie-coreml: ang nakapilot na NanoCodec ay natunton sa isang nakapirmeng bintanang 64-frame, kaya't --stream ay tinatanggihan. --language ja Ang auto-routes to the MLX backend na may stderr note (ang CoreML brock ay hindi pa nag-eebolb ng barkong JA tokenizer assets ngunit). Ang CoreML engine na tamad-based ang MLX na naka-claim sa unang syntheme upang patakbuhin ang LocalTransformed at average audio embedings; purong-CoreML retment ay na tinatagnan bilang isang follow-up.

Mga halimbawa:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Tagubilin TTS opsyon

Eksperimento: Magtayo ng katutubong suportang SDK mula sa pangunahing pinagkukunan. Homebrew at iba pang mga prebuild na CLI release ay maaaring hindi pa kasama ang mga makinang ito.

Implementasyon (PR #541): main

Inilathala ang mga bungkos ng MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Magtakda ng isang argumento sa teksto, --instruct, at eksaktong isang brock directory o magtutugmang modelo ID. Reference audio, mga nakapirmeng speaker at councre input ay hindi suportado.

Ang bawat teksto at larangan ng instruksiyon ay limitado sa 32,768 UTF-8 bytes. Ang kumpletong iginawad na input advanced, kabilang ang template nito, ay dapat na angkop sa loob ng 4,096 na mga pananda. Ang mga inputs na lampas sa alinmang limitasyon ay itinatakwil.

Ang FireRedTTS3-Instruct ay nagpapanatili ng Float32 model at decoder weights. Ito ay nagbabalik ng opensibong audio: abstraktong --stream. Ingles at Tsino --language alyasses ay tinatanggap. Ang isang hangganan ng henerasyon ay nag-aangat ng pagkakamali sa halip na ibalik ang tagumpay.

Ang MOSS-VoiceGenerator ay nagpapanatili ng BF16 language weights at ang FP32 synthesis codec. Gamitin ang --stream para sa incremental PCM. Omit --language at ilagay ang mga kahilingan ng wika sa --instruct.

Ang instruksyon-sunod na katangian ay hindi nai-cored. ang mga maikling-script na sukat ay naglalarawan sa tested setup; ang umiiral na-model na latency serial ay nananatiling hindi tiyak.

Mapagpipilian Pagkawasak Paglalarawan
--fireredtts3-bundle-dir— Pagsama-samahin ang lokal na luwas na bungkos; piliin ito o ang pagpipiliang modelo-ID.
--fireredtts3-model-id— Inilathala ang katugmang MLX brock ID; piliin ito o ang isang lokal na directory.
--fireredtts3-flow-steps10Agos na mga hakbang sa bawat akustika.
--fireredtts3-max-patches400 Ang hangganan ng lahi; ang pag - abot dito bago matapos ay nagbabangon ng isang pagkakamali.
--moss-voicegenerator-bundle-dir— Pagsama-samahin ang lokal na luwas na bungkos; piliin ito o ang pagpipiliang modelo-ID.
--moss-voicegenerator-model-id— Inilathala ang katugmang MLX brock ID; piliin ito o ang isang lokal na directory.
--moss-voicegenerator-max-frames750 Ang hangganan ng lahi; ang pag - abot dito bago matapos ay nagbabangon ng isang pagkakamali.
--moss-voicegenerator-chunk-frames3Kumpletuhin ang mga balangkas ng codec sa bawat PCM clush (1–32).
--seed2 / 42 Humingi ng binhi: FireRedTTS3 defaults to 2; MOS-VoiceGenerator to 42.

FireRedTTS3-Instruct · MESS-VoiceGenerator

kokoro

Lightweight text-to-speech gamit ang Kokoro-82M sa Neural Engine (CoreML). Non-autoregressive–isang pasulong na pagpasa, iV45ms latency.

speech kokoro "<text>" [options]
Mapagpipilian Pagkawasak Paglalarawan
<text> Tekstong Pang - ebolusyon
--voiceaf_heartBoses preset (50 na makukuha sa 10 wika)
--languageen kodigo ng wika: en, es, fr, hi, ito, ja, pt, zh, ko, de
--output, -okokoro_output.wavIlabas na WAV file path
--list-voicesIlista ang lahat ng magagamit na tinig at labasan
--model, -mHuggingFace model ID

Mga halimbawa:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

tugon

Full-duplex speech-to-speech diyalogo gamit ang PersonaPlex 7B.

speech respond [options]
Mapagpipilian Pagkawasak Paglalarawan
--input, -iInput audio WAV file (24kHz mono) (Hinihiling)
--output, -oresponse.wavIlabas ang tugon WAV file
--voiceNATM0Voice preset (e.g. NATM0, NATF1 (XZ), VARF0)
--system-promptassistant Nakatakda: assistant, focused, customer-service, teacher
--system-prompt-text Ang sistema ng adwana ay nag - uudyok ng teksto (overrides preset)
--max-steps200 Ang Max na henerasyon ay may habang 12.5Hz (imperyo16s)
--streamEmit audio clusters sa buong panahon ng salinlahi
--compileMasalimuot na tinipong transpormer (warmup + kernel na pagsasanib)
--list-voicesListahan ng magagamit na voice presets
--list-prompts Ang magagamit na sistema ay nag - uudyok ng mga preset
--transcriptIlimbag ang panloob na monologue na teksto ng modelo
--jsonPalabas Bilang JSON (transcript, latency, audio path)
--verbose Ipakita ang detalyadong info ng orasan

Panunuya sa mga Labis na Pag - abuso

Mapagpipilian Pagkawasak Paglalarawan
--audio-temp0.8 Mga Bilang ng Pagtaya sa temperatura
--text-temp0.7 Mga Bilang ng mga halimbawa ng temperatura
--audio-top-k250 Mga kandidato sa Audio top-k
--repetition-penalty1.2Audio pag - uulit ng parusa (1.0 = may kapansanan)
--text-repetition-penalty1.2 Pag - uulit ng teksto (1.0 = may kapansanan)
--repetition-window30Repetitition penit window sa mga frame
--silence-early-stop15 Tahimik na mga frame bago huminto nang maaga (0 = may kapansanan)
--entropy-threshold0Text entropy gateway para sa maagang paghinto (0 = may kapansanan)
--entropy-window10Sunud - sunod na mababang-entropiya na mga hakbang bago huminto nang maaga

Mga halimbawa:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

tinig-chat

Mabuhay full-duplex na usapan sa Soniqo, na pinapatakbo ng NVIDIA Nemotron VoiceChat 11B. Microphone mode Ang Apple AEC, dinadaglat ang RNN-T na mga kapsiyon, human-facing realtime metrics, adjustive 8→2→1-spthure ng boses, at naka-up na input ay sa halip na nag-cronize ng long-up.

speech voice-chat [options]
Mapagpipilian Pagkawasak Paglalarawan
--model, -maufklarer/VoiceChat-11B-Perception-MLX-int5Hugging Face model ID o kumpletong lokal na bungkos.
--revisionmain Pagrebisa sa pamamagitan ng ah.
--system-promptPabilisin ang sistema.
--mcp-configProvider-neutral JSON configuration para sa MCP tool servers.
--mcp-server lahat ay nakaayos Pumili ng isang nakaayos na server; ulitin upang pumili pa.
--mcp-write-policyallowIsulat ang patakaran: allow, model-mediated confirm, o deny.
--mcp-timeout-seconds15MCP tool-calcal timeout; ang server startup ay nagpapahintulot ng hindi bababa sa 60 segundo.
--greet Hilingin sa modelo na batiin muna siya.
--no-aec Ang di - kanais - nais na akustikong alingawngaw ng Apple ay napapawi.
--no-transcriptDisable live RNN-T user kapsiyon.
--no-rnnt-turn-takingDisable NVIDIA RNN-T turn-pagkuha ng mga unback na pangkaligtasan.
--prebuffer-frames380 ms output frames na naka-stat bago maglaro.
--max-buffered-frames8Maximum queued 80 ms mikropono frames bago ang lumang audio ay ibinaba.
--max-secondsItigil ang live hulid pagkatapos ng maraming segundong ito.
--input Basahin ang audio file sa halip na ang mikropono.
--output, -oIsulat ang full-context 22.05 kHz WAV.
--tail-seconds6 Ang katahimikan ay isinumite pagkatapos ng file input.
--force-turn-at-endForce BOS sa file EOF; regresyon tests lamang.
--plainGumamit ng apend-lamang output sa halip ng nakapirmeng redraw dashboard.
--debug-timeline Ipakita ang relatibong parirala at advolution-pronunciation-end timestamps platformed tool-cally cycle.
--terminal-width120Terminal display ang lapad.
--temperature0Text temperature; 0 ay sakim.
--text-top-p1Text toper-pop.
--guidance0.2DENT-TTS guidance lakas.
--speech-top-p0.95 TANDAAN-TTTS top-pop.
--speech-noise0.001Nasubukan ng mga prefanta-TTS ang ingay.
--speech-iterations8 TANDAAN-TTTS MasKGIT turnations kada frame.
--realtime-speech-iterations2 Ang komplementaryong badyet ng voice-refilement na ginagamit upang protektahan ang realtime speed; ang matinding sobrang dami ay gumagamit ng isang hakbang.
--live-speech-context-seconds20 Ang kamakailang kasaysayang premier-TTTS ay nanatili sa live mode; 0 ay nag-iingat ng buong kasaysayan.

Mga halimbawa:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Kasama MCP ay nakapag-produce, model-native call JSON at bumalik na tool-response tokens na ginagamit NVIDIA''s two-phase asynchronous function path sa isang cached stunt embending. Walang transcripted storder, regular-expression paterno, reflection state, o scripted assistant relection: ang checkpoint lamang ang pumipili ng isang kasangkapan at ang mga argumento nito. Ang coordinator ay nagbibigay-diin lamang sa katutubong JSON, ay naglalapat ng pagbasa/impormasyon, pinapatay ang napiling patakaran ng pagsulat, pinapatay ang pinili MCP mag - opera, at bumalik na inayos ang mga resulta sa pamamagitan ng sinanay na election channel. allow Sa patakaran, ang pag-aalis ng ikalawang kumpil ay nagreresulta mula sa mga paalalang demo; ang isang magkatulad na natapos na sulat ay pinipigil pa rin hanggang sa bagong tagagamit ng pananalita. confirm tangi lamang kapag ang model-mediated na kumpil ay maliwanag na ninanais, o deny Upang tumanggi sa pagsusulat. MCP utos ay tumatakbo sa lokal na may filesystem at applications ng gumagamit, kaya gamitin lamang ang mga pinagkakatiwalaang configuration files at server pakete.

Ang Microphone perception at RNN-T na mga kapsiyon ay nagpapatuloy sa pagitan ng mga modelong hakbang, habang ang panlabas na mga panlabas MCP Ang I/O ay tumatakbo sa isang hiwalay na gawain. Ang mga rehiyon ng speak-maning mikropono na nakuha habang ang kabahaging function cache ay abala habang ang mga sinuring embeding at replayed causly matapos ang resulta, kaya ang isang kapsiyoned na follow-up ay hindi na itinatapon. Ang replay ay limitado sa isang lumang semantic frame sa bawat live callback; ang kaukulang bagong frame ay nananatiling queued, replay text ay sapilitang sa PAD, at ang-elaped audio ay hindi kailanman queuitying sa nagsasalita. Ang mga naka-out na mga posisyong STTS-TS STS STTHTHTS stacked, ang mga ST-exTHTV-exTFramed. Ang walong seckedboard ay sa mga ST. MCP round trip, at tool-result cache conversion. Decode at resultang mga linya ipakita mo ang modelo/coche compute plus live interleave, ang mga labí na ginagamit ng aktor ay nagbubunga, nag - iingat ng aklat, at nag - iingat sa sistema ng pagtatalo; madaling maunawaan ang audio RTF ay hindi nasusukat sa background na iyon. Minsang bukas ang tawag, ang sapilitang-PAD text channel ay nag-eebolb sa hindi nagamit na full-vocabulary projection nito. Pagkatapos ng EOTC, ang dalawang-phase path ay nagreresulta sa pinagsaluhang wika at user-TTS timeline habang ang panlabas na resulta ay naka-set; ang mga frame ng mikropono ay nananatiling buhay para sa pang-unawa at ang RNNN-T ngunit hindi nagiging sintetikong mga posisyon ng PAD bago ang resulta. 16-Tokken causal-prefill na mga tipak, at ang buháy na loop ay kababasahan ng isang magkakaugnay na akseso at isa na gumagana MCP Isipin ang bawat larawan 160 Mga m sa halip na gumawa ng ilang tawag sa aktor pagkatapos ng bawat balangkas ng mikropono. 40-frame RNN-T safety fallback, habang ang isang dati nang-proposed na katutubong kagamitang kandidato ay maaaring gawin pagkatapos ng walong blankong frames. Ang teksto at gumaganang mga channels ay pareho pa rin ng isang Nemotron-H cache, kaya ang magkakaugnay na resulta-kombinasyong pagsasalita ay nagsisimula lamang pagkatapos ng function featment; ang hindi ligtas na tumatakbo bilang ikalawang causal na hinaharap sa kahalintulad.

Malinis M5 Pro 48 Sinukat ang GB release profile 3.56–4.00 mga segundo mula sa dulo ng pagsasalita hanggang sa unang modelo-authored post-tool speech para sa tatlong reflect-list prashings na may nakatakdang 200 Katutubong JSON decoding na ginagamit 27–31 mga hakbang sa 1.15–1.28 mga segundo, at isang 67-Kasabay ang resulta 0.58–0.72 Sa pamamagitan ng isang sadyang mabagal na dalawang-second provider, ang gawain ng mikropono sa panahon ng paghihintay ay nanatili 19.6 ms p95 at 19.8 Hanggang sa sukdulan, ang huling malinis na pagtakbo ay sinusukat 118 ms mikropono-service p95 at 139 ms p95 Pagiging huli sa kabila pa roon 80 Ang provider samakatuwid ay nagdaragdag ng tugon sa huli nang walang pagyeyelong paghuli; ang natitirang compute limit ay katutubong tawag na decoding plus share-cache na resulta replay.

Inilalantad lamang ng may bungkos na demo list_reminders, create_reminder, at update_reminder; ang pagtuklas ng listahan ay nananatiling pang-edukasyon-private. Ang isang patag na paalala ay nagbabasa sa bawat listahan ng EventKit at pinapalitan ang mahabang provider na mga UUD ng matatag, sesyon-scoped na mga reperensiya gaya ng mga "copt" r1. Updates ay nagbabalik ng isa sa mga model-visible na reperensiyang iyon, at ang adapter ay nagreresulta dito nang eksakto bago patayin; ito ay hindi kailanman tumutugma sa mga binibigkas na pangalan o transcript na teksto. No-op updates at ang mga seleksiyong seleksiyonal ay itinatakwil sa halip na iniulat bilang matagumpay na mga pagbabago. Ang isang kontroladong update regresyon ay nahulog mula sa isang kontroladong pag-reregresyon. 67 Mga katutubong hakbang / 5.25 mga segundo na may makatotohanang UUD 37 Mga hakbang / tungkol sa 2.29 mga segundo na kasama ng r1. Ang paggawa ay nangangailangan lamang ng pangalan samantalang ang opsyonal provider default ay nananatiling opsyonal. Ang umaagos na RNN-T frontend ay gumagamit ng NeMo-compatiable replection padding sa mga gilid ng bintana sa halip na sero na paddid.

Ang talaksang mode ay ang hardware-free reproducible path. --force-turn-at-end ay para lamang sa mga kontroladong regresyon test at hindi dapat iulat bilang natural na turn-couping latency.

audio-salin

Streaming speech-to-speech translation gamit ang Kyutai Hibiki Zero-3B. FR / ES / PT / DE → NT, isang binaryo, walang ulap. Full guide →

speech audio-translate <input.wav> [options]
Mapagpipilian Pagkawasak Paglalarawan
<input>Source audio WAV file (mono, rempated sa 24 kHz panloob) (Hinihiling)
--output, -otranslated.wav Inilabas 24 kHz English WAV file
--source-langfr Kahulugan ng pinagmulang wika (source language sensation)fr, es, pt, de). Auto-detected; metadata lamang. FR + Ang ES ay mahigpit na E2E canaries; ang PT + DE ay pinakamahusay-effort.
--quantization4bitVariant: 4bit (EX2.7 GB) o 8bit (°3.9 GB)
--model-idHuggingFace model idovast (higit pa sa --quantization)
--compile Tumatakbo sa temporal transgender heat-up pass bago isalin
--verbosePalimbagan ng mga per-phase na mga tiyempo (Mimi[kailangan ng sanggunian], henerasyon, Mimi decode)
--transcriptPalimbagin ang indibidwal na-monologue na hilaw na SPM na single IDs (Ang sPM decode na kawad ay isang sumusunod na-up)

Di - nagbabagong Kapaligiran

May pagkakaiba Epekto
HIBIKI_GREEDY=1Force argmax decoding para sa teksto + target audio. reproducible – ginamit ng mahigpit na mga CI canary.
HIBIKI_MODEL_IDOverride ang default aufklarer/Hibiki-Zero-3B-MLX-4bit repo sa panahon ng pagtakbo.

Mga halimbawa:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

tangke

Offline voice activity detection gamit ang Pyannote segmentation.

speech vad <file> [options]
Mapagpipilian Paglalarawan
<file> Isang talaksan ngudio na dapat suriin
--model, -mHuggingFace model ID
--onset Nakasingit na pasukan (speech start)
--offset Nakabarang pasukan (speech end)
--min-speech Mas maikling haba ng pagsasalita sa loob ng mga segundo
--min-silenceMagaan na katahimikan sa loob ng ilang segundo
--jsonIlabas Bilang JSON

vad-stream

Nakapagpapasiglang pagdetek ng boses gamit ang Silero VAD v5. Pinoproseso ang pagsasalita sa 32 Mga tipak ng bato.

speech vad-stream <file> [options]
Mapagpipilian Paglalarawan
<file> Isang talaksan ngudio na dapat suriin
--engineVAD engine: mlx (default) o coreml
--model, -mHuggingFace modelo ID (auto-selected by engine)
--onset Nakatakdang Hangganan
--offset Bigong Pasimula
--min-speech Mas maikling haba ng pagsasalita sa loob ng mga segundo
--min-silenceMagaan na katahimikan sa loob ng ilang segundo
--jsonIlabas Bilang JSON
--smart-turn Tiyakin ang bawat sandali sa pamamagitan ng Smart Turn bago tapusin ang isang bahagi; ang mga paghinto sa kalagitnaan ng gabi ay nagsasama - sama sa isang bahagi
--turn-thresholdSmart Turn tapusin ang pasukan (default 0.5)
--turn-max-silence Mga segundo ng katahimikan pagkatapos ng isang vetoed na paghinto na nagwawakas sa bahagi (default 2.0)

pagliko

Wakas-of-turn na pagtutop sa pamamagitan ng Smart Turn v3.2 (8M params, CoreML, mga 23 languages). dinadaglat ang huling 8 s ng isang naitalang pagsabi at pagkalimbag ng probabilidad na natapos na ng nagsasalita, ang kumpleto / hindi kumpletong hatol, at ang di-malay na panahon.

speech turn <file> [options]
Mapagpipilian Paglalarawan
<file> Isang talaksang pang-udio na may isang user turn (anumang sampol na bilis); ang huling 8 s ay ginagamit
--threshold Ang pagiging maayos sa o sa itaas kung saan ang ikot ay mahalaga bilang kompleto (default 0.5)
--model, -mHuggingFace model ID. Defaults to aufklarer/Smart-Turn-v3.2-CoreML
--model-dir Ang lokal na directory na may hawak na smart_turn.mlmodelc at config.json; nilalampasan ang download
--jsonIlabas Bilang JSON
# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

ng paggising

On-device shoat-word / keyword spoting gamit ang KWS Zipilyo (3.49M params, CoreML INT8, 26× real-time, Ingles lamang).

speech wake <file> [options]
Mapagpipilian Paglalarawan
<file> Isang talaksan ngudio na dapat suriin
--keywordsIsa o higit pang mga susing salita. Formats: "hey soniqo" (PANGINOE BPE), "hey soniqo:0.15:0.5" (na may Clock/boost), o "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"
--keywords-file Pangunahing talaksan, isang ipinasok sa bawat linya (gaya ng --keywords); # para sa mga komento
--model, -mHuggingFace model ID. Defaults to aufklarer/KWS-Zipformer-3M-CoreML-INT8
--jsonIlabas Bilang JSON
# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diaperente

Pagsasalita — kilalanin kung sino ang nagsasalita kung kailan.

speech diarize <file> [options]
Mapagpipilian Pagkawasak Paglalarawan
<file> Isang talaksan ngudio na dapat suriin
--enginepyannote Ang makinang diarization: pyannote, community1 (CoreML + katutubong PLDA/VBx), sortformer, o nemotron3
--nemotron3-backendcoremlNemotron 3 backend: coreml o mlx
--nemotron3-directoryOptional local Nemotron 3 modelong bungkos
--nemotron3-compute-unitsane Mga yunit ng CoreML: ane, cpu, gpu, o all
--community1-compute-unitsaneCommunity-1 CoreML comute units: ane, cpu, gpu, o all
--num-speakers Kilalang tumpak na bilang ng tagapagsalita para sa Community-1
--min-speakers1Minimum speaker count para sa Community-1
--max-speakersMaximum speaker count para sa Community-1
--target-speakerInrolment audio para sa puntiryang pagkuha ng tagapagsalita (pyannote lamang)
--embedding-enginemlx makinang nagsasalita ng embudyting: mlx o coreml (pyannote lamang)
--vad-filterPre-fille na may Silero VAD (pyannote lamang)
--rttmIsulat sa RTM format
--jsonIlabas Bilang JSON
--score-againstReference RTTM file upang mag-compute ng masDER

Mga halimbawa:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

emibed-speaker

Kumuha ng isang tagapagsalita na nag - eembeding ventor mula sa audio.

speech embed-speaker <file> [options]
Mapagpipilian Paglalarawan
<file> Isang talaksan ngudio na naglalaman ng tinig ng tagapagsalita
--enginemlx (default) o coreml Para sa WeSpeaker 256-dim; redimnet2 para sa patuloy na pagkakakilanlan CoreML 192-dim; camplusplus para sa CAM++ CoreML 192-dim
--jsonIlabas Bilang JSON

wika-id

Alamin ang wikang sinasalita sa isang audio file.

speech language-id <file> [options]
Mapagpipilian Paglalarawan
<file>Audio file para uriin
--engineInference engine: mlx o coreml
--modelOverride the Hugging Face model ID
--top Bilang ng mga kandidato sa wikang may ranggo
--jsonIlabas ang resulta Bilang JSON
speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoise

Alisin ang ingay sa paligid gamit ang DeepFilterNet3 sa Neural Engine.

speech denoise <file> [options]
Mapagpipilian Pagkawasak Paglalarawan
<file>Ilagay ang audio file
--output, -oinput_clean.wav Labasan ang landas ng talaksan
--model, -mHuggingFace model ID

Halimbawa:

speech denoise noisy-recording.wav -o clean.wav

Kumakatha

Generate 30 s ng musika mula sa isang advanced ng teksto gamit ang MAGNET sa MLX.

speech compose <prompt> [options]
Mapagpipilian Pagkawasak Paglalarawan
<prompt> Ang teksto ay nag-uudyok ng paglalarawan ng musika upang lumikha (hal.g. "Masayang rock")
--output, -omagnet.wavOutput WAV path (32 kHz mono)
--variantsmall-int4 Pagkakaiba ng Modelo: small-int4, small-int8, medium-int4, o medium-int8. Mga pasiya sa aufklarer/MAGNeT-{Small,Medium}-30secs-MLX-{4,8}bit.
--temperature3.0Sa napakalamig na temperatura, ang annealed li ay halos bawat yugto.
--top-p0.9 Mga halimbawa ng nuclearus ang nagsisimula.
--cfg-max10.0Max classifier-free guide cofict.
--cfg-min1.0Min CFG cobicture (na katabi ng iskedyul ng maskara).
--steps20,10,10,10Comma-published decoding serations per codebook (4 na halaga).
--seed Ang waldom seed para sa reproducible output.

Mga halimbawa:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

Explace-batch

Transcribe ang isang directory ng mga audio file; ang modelo ay nakakarga minsan.

speech transcribe-batch <input-dir> [options]
Mapagpipilian Pagkawasak Paglalarawan
<input-dir>Direktoryo ng mga audio files to transcribe (WAV, FLAC, atbp.)
--output-dirIlabas na directory para sa mga transcript
--engineqwen3ASR engine (parehong mga halaga na gaya ng speciple)
--jsonl Gumawa ng mga resulta bilang mga linya ng JSON, isa sa bawat file

ibabalik

Restore speech (denoise + dereverb) na may Sidon — CoreML, 48 kHz output.

speech restore <audio-file> [options]
Mapagpipilian Pagkawasak Paglalarawan
--output, -oinput_restored.wavOutput WAV file path (48 kHz)
--variantfp16Precision / bungkos na mga pagkakaiba
--compute-unitsCore ML placement para sa dalawang yugto: ane, gpu, cpu, lahat (default:vocoder gpu (paglilinaw), regulator auto)

hiwalay

Paghiwalayin ang isang music track sa tangkay (vocals, drums, bass, iba pa).

speech separate <input> [options]
Mapagpipilian Pagkawasak Paglalarawan
--stemsvocals,drums,bass,other Mga bagay na kukunin: mga kuwerdas, tambol, bass, iba pa
--engineumxKasangkapan: umx (default) o htdemucs (mas mataas na uri)
--output-dirIlabas na directory para sa mga transcript

upsample

Audio super-resolution kasama ang FlashSR — one-steep distilled AudioSR, 48 kHz output.

speech upsample <audio-file> [options]
Mapagpipilian Pagkawasak Paglalarawan
--output, -ohr.wavOutput WAV file path (48 kHz)
--variantint4Precision / bungkos na mga pagkakaiba
--seed Binhi para sa deterministikong output

qwen3-tts-coreml

Swift suporta 0.6B/256 at 1.7B/1024 mga bungkos; 0.6B ang nananatiling default. 1.7 Mga default sa brock CPU at nangangailangan ng isang inihanda 2048-Anglon Float32 .npy nagsasalita sa pamamagitan ng pag - eembed --speaker-embedding. GPU/ANE at iOS professionation ay nananatiling hiwalay.

speech qwen3-tts-coreml "<text>" [options]
Mapagpipilian Pagkawasak Paglalarawan
--output, -ooutput.wavIlabas na WAV file path
--languageenglishIlabas ang wika
--modelHugging Face model ID
--model-directory— Ang lokal na tinipong modelong bungkos; una rito ang pag - download ng --model.
--speaker-embedding— Handang Float32 .npy speaker embeding na tumutugma sa modelong lapad (1024 o 2048).

Boses ng vibe

Text-to-speech na may Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]
Mapagpipilian Pagkawasak Paglalarawan
--voice-cache, -vBoses ng boses mula sa vibevoice-encode-voice (required)
--stepsDPM-Solver division steps (mas mataas = mas magandang kalidad)
--cfg1.3 Lakas sa pag-uri-free guidance
--long-formIpinintang long-form synthesis para sa mga mahahabang teksto

vibevoice-encode-voice

Bawasan ang isang imbakan ng boses na VibeVoice mula sa isang reperensiyang rekording at mga kopya.

speech vibevoice-encode-voice <input> "<transcript>" [options]
Mapagpipilian Pagkawasak Paglalarawan
<input>Reference audio file
<transcript> Isinalin ang reperensiyang audio (Ingles lamang)
--output, -oIlabas ang mode ng boses (. ligtas na tensor)

salin

Isinalin ang teksto sa isang puntiryang wika na may MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]
Mapagpipilian Pagkawasak Paglalarawan
--to, -tTarget language code (ISO 639-1, e.g. es, zh, ja)
--stream Mga markang stream habang ang mga ito ay nag - aalis ng laman
--modelHugging Face model ID

clef

Pumili mula sa pinahihintulutang sagot gamit ang Clef-flash local sa Apple Silicon. Development preview.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Ang kahilingan ay naglalaman ng teksto state at isang utos questions Bawat larangan ay may kani - kaniyang larangan id at a type: choice na may a choices mapa, noul para sa tunay/bulaan, o score na may utos levels. Output ay JON na may mga probability, piniling sagot, bahagyang pagbilang, model-load na oras, at panahon ng desisyon.

Sa pamamagitan ng default, ang utos ay naka-download aufklarer/Clef-flash-9B-MLX-4bit. Gamitin --model-dir para sa umiiral na mga file o --offline para sa cache. Nililimitahan ng token ang mga default sa 4096 at tinatanggap ang 1–16384. Tingnan ang ZXAXZ. Gabay pangabay sa Clef para sa kumpletong kahilingan at pagsukat sa paggamit ng memorya.

gliner

Schema-conditioned text classification at entity spans na may GLiNER2.5-Decide (MLX). Development preview: hindi pa nilalabas.Gmitin ang teksto upang basahin ang stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]
Mapagpipilian Pagkawasak Paglalarawan
--variantint8 Inilathalang mga timbang na i-download: fp32, fp16 o int8
--modelHugging Face Ang pag - iimbak ay nananaig
--model-dir lokal na modelong directory sa halip na mag - download
--labelsComma-extified na mga tatak ng kandidato (1 hanggang 255, bukud-tangi)
--descriptionLabel na paglalarawan bilang label=text; nauulit
--task pagkilosTask na pangalan sa schema agarang (classified only)
--threshold0.5 Kaunting iskor para sa span (ilabas lamang)
--evaluate-layersIsa - isang ikinakabit ang calcer sa isang pagkakataon upang ibaba ang sukdulang memorya
--jsonDUMUHAY sa bawat probabilidad, o mga span na may UTF-16 offsets, at mga tiyempo

avatar-motion

Generate NVIDIA Audio2Face-3D avatar-motion cobicture frames from speech audio.

speech avatar-motion <input> [options]
Mapagpipilian Pagkawasak Paglalarawan
--output, -oavatar-motion.jsonl Labasan ang daanan ng talaksang JSONL
--model…James-MLXAvatar identity brock (James default; Claire at Mark available)
--verbose Mahalaga ang panahon at balangkas ng mga literatura

MOS-TTS-Nano

Gumamit ng --voice-sample para sa voice cloning; walang reperensiyang transcript ang kinakailangan. mono Ang mga reperensiya ay nagaya sa stereo, muling ini-samp sa 48 kHz at may sapin sa isang 80 ms hangganan. Encode a reference minsan at muling gamitin ang mga code nito sa ibayo ng mga kahilingan.

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav
--moss-nano-model Aufklarer/MOSS-TTS-Nano-100M-CoreML Modelong restorasyon o lokal na directory
--moss-nano-compute-unitscpucpu o gpu
--moss-nano-max-frames300Maxium 80 ms frames; kailangan ang likas na EOS
--moss-nano-seed0Reproducible Swift sampol na binhi

MOS-TTS-Nano

Ang lokal na katutubong pahiwatig

Para sa 12B, ang paulit-ulit na katabing mga kasangkapan-tawag na pagsasara ng mga marker pagkatapos ng isang kumpleto, regulatoryong tawag ay nakukwenta sa pamamagitan ng tawag na iyon. Hindi sila lumilikha ng ibang tawag o pagbabago sa mga argumento nito. Ang mga stagealone marker at mga argumentong diperensiyal ay nananatiling mga pagkakamali; E4B ay nagpapanatili ng mahigpit na paghawak.

Upang mapanatili ang bigong katutubong mga kahilingan sa chat, set failureCaptureDirectory Ang direktor ay hindi naka - default, at dapat na hindi ito kasama ng iba pang mga direktor; ang mga bagong direktory ay gumagamit ng mga bagong direktor 0700 at ang mga talaksang bigo ay gumagamit 0600. Ang mga talaksan ay kinabibilangan ng eksaktong request body, request ID at error. Completed 12B generations ay nagpapanatili rin ng iginawad na advanced, token IDs, hilaw output at top katwiran bago ang parps. E4B fails ay walang hilaw na rekord ng henerasyon. Ang mga lokal na file na ito ay naglalaman ng mga pagkakamali sa pag-uusap at kagamitan; ang HTTTP ay hindi kasama ang mga ito.

Ipinintang ng ahenteng opsyonal na Direktoryo ang isang nakadispley Gemma 4 12Ipinakilala INT4 modelo ng teksto sa tabi E4B. Gumamit ng modelo: "gemma4-12b-it" para makipag - usap sa katutubong mga kagamitan, ang resulta'y kasaysayan, at pagpapawalang - bisa. E4B ay maaari pang makuha para sa iba pang mga kahilingan. Gemma4UnifiedChat ginagamit ang pindutan MLX Ang pagpapatupad ng teksto at paglalabas ng bawat request features KV cache. Ang tugon parsing ay nag-aalis ng channel deliters mula sa ibinalik na teksto. ang mga overpled tool-call deters ay tinatanggihan bilang mga hindi maayos na tugon.

Ang pinagmumulan ay tumatanggap --inference-manifest mga modelo.json upang ikarga ang nakatanghal Gemma 4 E4B INT4, VoxCPM2, buo Whisper Large-v3, at Silero VAD. Ang serbisyong ito ay nagsisimula at tumatanggi sa hindi katugmang huwarang pagkakakilanlan.

speech-server --inference-manifest models.json --port 8080

API mga detalye

Voxtral TTS

Voxtral 4B TTS 2603 ay lokal na tumatakbo sa Apple Silicon sa pamamagitan ng Voxtral TTS module: 20 preseted voices, siyam na wika, at 24 kHz mono speech.

speech speak "Hello, welcome to Voxtral." --engine voxtral --voxtral-voice casual_male --stream --voxtral-chunk-frames 3 -o hello.wav
speech speak --engine voxtral --list-speakers
speech speak "Bonjour." --engine voxtral --voxtral-voice fr_female --voxtral-max-frames 500 --voxtral-seed 0 -o bonjour.wav

Ang mga preset voices lamang; reference-audio cloning ay hindi makuha. Ang audio output ay dumadaloy sa SDK, CLI, WebSocket at HTTP PCM. Isumite ang kumpletong input text up front. Ang mga model weights ay gumagamit ng CC BY-NC 4.0.

Basahin ang Voxtral TTS guide

Fish Audio Drama 3

Ang eksperimental na suportang MLX para sa Drama 3 ay makukuha sa pamamagitan ng FishAudioDrama3Model. A. 35 Ang hybrid-tension MoE stand, temporal audio tower at Fish DAC codec ay gumagawa ng codec 44.1 kHz mono audio. 4-bit ang checkpoint ay pumasa sa waveform at independent ASR mga tseke para sa teksto-tanging henerasyon, reference cloning at CLI output sa Apple M5 Pro. 8--bit at BF16 ay hindi pa naililipat.

Pagmememorya balanced ay ang default. Idle MLX Mga neutral na lisensya ay tinatabas sa itaas ng 512 MiB sa mga hangganan ng entablado; ito ay hindi isang kabuuang-memory limit. Global allocator limits ay nananatiling hindi nagbabago. --fish-drama3-memory-mode unrestricted o memoryOptions: .unrestricted para sa sabik na pagbuhat at ang dating nakasasakit na paggawi.

Ang Text-ly generation defers 794.4 MiB ng reference calcer weights. Ang unang reperensiya na nagreresulta ng mga karga at nagpanatili ng mga ito, kaya't panatilihin ang codec.safetensors available hanggang sa noon. ang mga precomputed reference code ay hindi nangangailangan ng reciever.

Ilaan ang kumpletong input text. Ang Voice cloning ay nangangailangan ng reference clip at ang eksaktong transcript nito. Ang Speaker tags 0–15 at mga inline emosyon ay suportado. PCM clowing ay makukuha sa pamamagitan ng pag-excide generateStreaming, generateStream at --stream. Ang default figure ay naglalaman ng 3 codec frames, tungkol sa 139 ms ng audio. automatic long-text standing at streaming text input ay nananatiling hindi magagamit.Ang pag-abot sa limitasyon ng frame ay nag-iisyu ng mali.

speech speak "Hello from Drama 3." --engine fish-drama3 --fish-drama3-bundle-dir /path/to/bundle -o hello.wav
speech speak "Hello from Drama 3." --engine fish-drama3 --stream --fish-drama3-chunk-frames 3 -o streamed.wav
speech speak "Hello in the reference voice." --engine fish-drama3 --voice-sample reference.wav --fish-drama3-reference-text "The exact reference transcript." --seed 42 -o cloned.wav
import FishAudioTTS
let model = try await FishAudioDrama3Model.fromBundle(bundleURL, memoryOptions: .balanced)
let pcm = try await model.generate(text: "Hello from Drama 3.", options: .init(seed: 42))
Mapagpipilian Pagkawasak
--fish-drama3-model-idmlx-community/fish-audio-drama-3-4bit
--fish-drama3-bundle-dir—
--fish-drama3-reference-text—
--fish-drama3-max-frames2048
--fish-drama3-temperature1
--fish-drama3-top-k30
--fish-drama3-top-p0.9
--voice-sample—
--seed0
--streamfalse
--fish-drama3-chunk-frames3
--fish-drama3-memory-modebalanced

Itinayo sa pamamagitan ng Fish Audio. Bundles ay nagpapanatili ng Community License at HINDI SICE.

4-bit benchmark