Automatische vertaling · Engels origineel

CLI-naslag

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

Het speech commando is het ingangspunt voor lokale spraakverwerking.

Installeren met Homebrew

Op Apple Silicon met macOS 15 of nieuwer, installeer de CLI met Homebrew:

brew install speech
speech --help

Om een bestaande installatie te updaten, voer brew upgrade speech uit.

Alternatief: bouwen vanaf bron

In een speech-swift checkout, start make build, gebruik dan .build/release/speech . Zie de Gestarte handleiding voor vereisten en bron-build instructies.

transcriberen

Audiobestanden naar tekst overbrengen.

speech transcribe <file> [options]

Voorbeelden:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

uitlijnen

Word-level gedwongen uitlijning te krijgen nauwkeurige tijdstempels voor elk woord.

speech align <file> [options]

Voorbeelden:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

spreken

Tekst-tot-spraak synthese.

speech speak "<text>" [options]

Qwen3-TTS Opties

CosyVoice3 Opties

VoxCPM2 Opties

IndexTTS2 Opties

IndexTTS2 is een nul-shot stemklonerende motor ondersteund door een uitgebreide MLX bundel. Het vereist --voice-sample en draait momenteel alleen batchsynthese.

F5-TTS Opties

Higgs TTS 3 Opties

Magpie-opties

NVIDIA Magpie-TTS Meertalige 357M, 9 talen met 5 gebakken luidsprekers. Kies de backend met --engine magpie (MLX, standaard) of --engine magpie-coreml (CoreML voor de grote modellen met MLX rijden de LocalTransformer + audio inbeddingen). Zie de Magpie-gids voor de volledige G2P-afbraak per taal. Voice klonen wordt niet ondersteund: --voice-sample, --speakeren --instruct worden afgewezen met een handige fout die wijst op --magpie-speaker In plaats daarvan.

magpie-coreml-groeven: de gebundelde NanoCodec wordt getraceerd op een vast 64-framevenster, dus --stream wordt afgewezen. --language ja auto-routes naar de MLX backend met een stderr-note (de CoreML-bundel verscheept nog geen JA-tokenizer-activa). De CoreML-motorluifel laadt de MLX-bundel op de eerste synthese om de lokale transformer en gemiddelde audio-beddingen te sturen; pure-CoreML-implementatie wordt gevolgd als een vervolg.

Voorbeelden:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Instructie TTS opties

Experimenteel: Native SDK ondersteuning van de hoofdbron bouwen. Homebrew en andere vooraf gebouwde CLI-vrijgaven kunnen deze motoren nog niet omvatten.

Implementatie (PR #541): main

Gepubliceerd MLX bundels: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Geef één tekstargument, --instruct, en precies één bundelmap of compatibel model-ID. Referentieaudio, vaste luidsprekers en batch-invoer worden niet ondersteund.

Elke tekst- en instructieveld is beperkt tot 32.768 UTF-8 bytes. De volledige weergegeven invoerprompt, inclusief de sjabloon, moet binnen 4.096 tokens passen. Invoeren die beide grenzen overschrijden worden afgewezen.

FireRedTTS3-Instruct behoudt Float32 model- en decodergewichten. Het geeft gebufferde audio terug: laat --stream. Engels en Chinees --language aliassen worden geaccepteerd. Een generatielimiet verhoogt een fout in plaats van terug te keren naar afgekapt succes.

MOSS-VoiceGenerator behoudt BF16 taalgewichten en FP32 synthesizercodec. Gebruik --stream voor incrementele PCM. Verwijder --language en zet taalvereisten in --instruct. Afronding drains alle zestien codeboeken.

De kwaliteit van de instructie volgt niet. Short-script metingen beschrijven de geteste setup; bestaande model latency certificering blijft niet overtuigend.

FireRedTTS3-Instruct · MOSS-VoiceGenerator

kokoro

Lichtgewicht tekst-tot-spraak met Kokoro-82M op Neural Engine (CoreML). Niet-autoregressieve single forward pass, ~45ms latency.

speech kokoro "<text>" [options]

Voorbeelden:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

antwoord

Volledige dialoog tussen spraak en spraak met PersonaPlex 7B.

speech respond [options]

Monsterneming overschrijven

Voorbeelden:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

voice-chat

Live full-duplex conversation with Soniqo, powered by NVIDIA Nemotron VoiceChat 11B. Microfoonmodus maakt Apple AEC mogelijk, streaming RNN-T bijschriften, mensgerichte real-time metrics, adaptieve 8→2→1-stap spraakverfijning, en begrensde invoerresynchronisatie in plaats van een lange stille inhaal.

speech voice-chat [options]

Voorbeelden:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Met MCP ingeschakeld, model-native call JSON en geretourneerde tool-respons tokens gebruiken NVIDIA's twee-fase asynchrone functie pad op een gecached stilte inbedding. Er is geen transcript router, regular-expression matcher, herinnering concept staat, argument reparatie, of scripted assistent antwoord: het checkpoint alleen kiest een hulpmiddel en zijn argumenten. De coördinator valideert alleen de native JSON, past lees-/schrijfbeleid toe, voert de geselecteerde MCP-operatie uit, en geeft gestructureerde resultaten terug via het getrainde functiekanaal. Schrijft onmiddellijk onder de standaarduitvoering allow beleid, het verwijderen van de tweede bevestiging draai van de herinneringen demo; een identieke voltooide schrijven wordt nog steeds onderdrukt tot nieuwe gebruiker spraak. confirm alleen wanneer een modelgemedieerde bevestiging uitdrukkelijk wordt gewenst, of deny MCP commando's draaien lokaal met de huidige gebruikers bestandssysteem en applicatierechten, dus gebruik alleen vertrouwde configuratiebestanden en serverpakketten.

Microfoonperceptie en RNN-T bijschriften blijven tussen de modelstappen, terwijl externe MCP I/O in een aparte taak draait. Spraakdragende microfoonregio's worden gevangen terwijl de gedeelde functiecache bezet is, worden bewaard als geëvalueerde inbeddingen en na het resultaat een oorzakelijke herhaling, zodat een bijschrifte follow-up niet langer wordt weggegooid. Replay is beperkt tot één oud semantisch frame per live callback; het bijbehorende nieuwe frame blijft in de wachtrij staan, replay tekst wordt gedwongen naar PAD, en al-uitgeklapte audio wordt nooit in de wachtlijst geplaatst voor de luidspreker. Bijpassende inactieve EAR-TTS cache posities synchroniseren later in begrensde acht-frame-chunks. Het dashboard scheidt de native call decodering, de MCP ronde trip, en tool-result cache synchronisatie. Decoderen tonen model/cache compute plus live interleave, het restant gebruikt door actor opbrengsten, boekhouding en systeem stelling; voorgrond audio RTF meet geen van die achtergrond werk. Zodra een oproep is geopend, het geforceerd-PAD tekstkanaal slaat zijn ongebruikte full-vocabulaire projectie over. Na EOTC, de twee-fase pad bevriest de gedeelde taal en EAR-TTS tijdlijn terwijl het externe resultaat is in behandeling; microfoon frames blijven live voor waarneming en RNN-T, maar worden niet synthetische PAD-posities voor het resultaat. Bekende resultaten opnieuw afspelen in begrensde 16De live lus leest één samenhangende functie snapshot en één MCP snapshot elke 160 ms in plaats van het maken van meerdere acteur calls na elk microfoon frame. Gewoon gesprek behoudt de 40-frame RNN-T veiligheidsvalkback, terwijl een reeds voorgestelde native tool candidate kan committen na acht lege frames. De tekst- en functiekanalen delen nog steeds één Nemotron-H cache, dus coherente resultaat-geconditioneerde spraak begint pas nadat de functie respons sluit; willekeurige assistent spraak kan niet veilig draaien als een tweede causale toekomst parallel.

Een schone M5 Pro 48 GB-ontgrendelingsprofiel gemeten 3.56–4.00 seconden vanaf het einde van de toespraak tot de eerste model-geauthoriseerde post-tool speech voor drie herinnering-lijst zinnen met een vaste 200 ms provider. Native JSON decodering gebruikt 27–31 stap in 1.15–1.28 seconden, en een 67-gesynchroniseerd resultaat in 0.58–0.72 seconden. Met een opzettelijk langzame twee-seconden provider, microfoon werk tijdens het wachten bleef 19.6 ms p95 en 19.8 maximaal ms. Een eindschoonloop gemeten 118 ms microfoon-service p95 en 139 ms p95 laatheid voorbij de 80 ms capture deadlines. De provider voegt daarom antwoord latency zonder bevriezing capture toe; de resterende rekenlimiet is native call decodering plus shared-cache resultaat replay.

De gebundelde demo stelt alleen list_reminders, create_reminder, en update_reminder; lijstontdekking blijft adapter-privé. Eén afgeplatte herinneringslezing dekt elke EventKit-lijst en vervangt lange provider UUID's met stabiele, sessie-gescoorde referenties zoals r1. Updates geven een van die model-zichtbare referenties terug, en de adapter lost het op precies voor uitvoering; het komt nooit overeen met gesproken namen of transcripttekst. No-op-updates en fractionele prioriteiten worden afgewezen in plaats van gerapporteerd als succesvolle veranderingen. Een gecontroleerde update-regressie daalde van 67 native stappen / 5,25 seconden met een realistische UUID tot 37 stappen / ongeveer 2,29 seconden met r1. Creëer vereist alleen een naam terwijl optionele provider de standaardwaarden facultatief blijven.

Bestandsmodus is het hardwarevrije reproduceerbaare pad. --force-turn-at-end is alleen bedoeld voor gecontroleerde regressietests en mag niet worden gerapporteerd als natuurlijke turn-taking latency.

audio-vertaling

Streaming speech-to-speech translation using Kyutai Hibiki Zero-3B. FR / ES / PT / DE → EN, single binary, no cloud. Full guide →

speech audio-translate <input.wav> [options]

Omgevingsvariabelen

Voorbeelden:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

vad

Offline spraakactiviteit detectie met Pyannote segmentatie.

speech vad <file> [options]

vad-stream

Streaming voice activity detection met behulp van Silero VAD v5. Processeert spraak in 32ms brokken.

speech vad-stream <file> [options]

draaien

Eind-van-draai detectie met Smart Turn v3.2 (8M params, CoreML, 23 talen). Selecteer de laatste 8 s van een geregistreerde uitdrukking en drukt de kans af dat de spreker klaar is, de volledige / onvolledige uitspraak, en de gevolgtrekkingstijd.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

wakker worden

Wake-word / keyword spotting met behulp van de KWS Zipformer (3.49M params, CoreML INT8, 26× real-time, alleen Engels).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diarize

Speaker diarization . identificeer wie gesproken wanneer.

speech diarize <file> [options]

Voorbeelden:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

inbedluidspreker

Haal een speaker die vector insluit uit audio.

speech embed-speaker <file> [options]

taal-id

Identificeer de gesproken taal in een audiobestand.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoise

Achtergrondruis verwijderen met DeepFilterNet3 op Neural Engine.

speech denoise <file> [options]

Voorbeeld:

speech denoise noisy-recording.wav -o clean.wav

componeren

Maak 30 s muziek van een tekstprompt met MAGNeT op MLX.

speech compose <prompt> [options]

Voorbeelden:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

transcribe-batch

Een directory van audiobestanden overschrijven; het model wordt eenmaal geladen.

speech transcribe-batch <input-dir> [options]

herstellen

Herstellen van spraak (denoise + dereverb) met Sidon CoreML, 48 kHz uitgang.

speech restore <audio-file> [options]

gescheiden

Scheid een muzieknummer in stengels (zang, drums, bas, andere).

speech separate <input> [options]

upsample

Audio super-resolutie met FlashSR . One-step gedistilleerd AudioSR, 48 kHz uitgang.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift ondersteunt 0,6B/256 en 1,7B/1024 bundels; 0,6B blijft de standaard. De experimentele 1,7B bundel standaard naar CPU en vereist een voorbereide 2048-kanaal Float32 .npy luidspreker inbedding via --speaker-embedding. GPU/ANE en iOS validatie blijven gescheiden.

speech qwen3-tts-coreml "<text>" [options]

vibevoice

Tekst-tot-spraak met Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

vibevoice-encode-voice

Mint een VibeVoice voice cache van een referentie opname plus transcript.

speech vibevoice-encode-voice <input> "<transcript>" [options]

vertalen

Vertaal tekst in een doeltaal met MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

sleutel

Kies uit toegestane antwoorden met behulp van Clef-flash lokaal op Apple Silicon. Ontwikkelingsvoorbeeld.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Het verzoek bevat tekst in state en een bestelde questions array. Elk veld heeft een id en een type: choice met een choices kaart, noul voor true/false, of score met besteld levels. Uitvoer is JSON met waarschijnlijkheid, geselecteerde antwoorden, aantal token, laadtijd van het model, en beslissingstijd.

Standaard wordt het commando gedownload aufklarer/Clef-flash-9B-MLX-4bit Gebruik --model-dir voor bestaande bestanden of --offline voor de cache. De token limiet standaard 4096 en accepteert 1Z16384. Zie de Clef-gids voor een volledig verzoek en gemeten geheugengebruik.

gliner

Schema-geconditioneerde tekstclassificatie en entiteit overspant met GLiNER2.5-Decide (MLX). Ontwikkelingsvoorbeeld: nog niet in een uitgave. Geef de tekst door aan stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

avatar-motion

Genereer NVIDIA Audio2Face-3D avatar-motion-coëfficient frames van spraakaudio.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080