Tłumaczenie automatyczne · Oryginał angielski

Dokumentacja CLI

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

W speech Polecenie jest punktem wejścia do lokalnego przetwarzania mowy.

Zainstaluj za pomocą Homebrew

Na Apple Silicon z macOS 15 lub nowszym, zainstalować CLI za pomocą Homebrew:

brew install speech
speech --help

Aby zaktualizować istniejącą instalację, uruchom brew upgrade speech.

Alternatywne: budować ze źródła

W speech-swift checkout, run make build, a następnie użyć .build/release/speechPatrz Rozpoczęcie przewodnika dla warunków wstępnych i instrukcji budowy źródła.

transcribe

Transcribe plików audio do tekstu.

speech transcribe <file> [options]

Przykłady:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

wyrównanie

Word- poziom wymuszone wyrównanie - uzyskać dokładne znaczniki czasu dla każdego słowa.

speech align <file> [options]

Przykłady:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

Mów.

Synteza Text- to- mowy.

speech speak "<text>" [options]

Opcje Qwen3-TTS

Opcje CosyVoice3

Opcje VoxCPM2

Opcje IndexTTS2

IndexTTS2 jest zerostrzałowym silnikiem klonującym głos, który jest obsługiwany przez rozszerzony pakiet MLX. Wymaga --voice-sample i obecnie działa tylko syntezy wsadowej.

Opcje F5-TTS

Higgs TTS 3 Opcje

Opcje sromu

NVIDIA Magpie- TTS Wielojęzyczny 357M, 9 języki z pieczonymi głośnikami 5. Wybierz tło --engine magpie (MLX, domyślnie) lub --engine magpie-coreml (CoreML dla dużych modeli z MLX jazdy LocalTransformer + Audio osadzania). Przewodnik po sromie dla pełnego przejęzyczenia G2P podział. Klonowanie głosu nie jest obsługiwane: --voice-sample, --speakeroraz --instruct są odrzucone z pomocnym błędem wskazującym na --magpie-speaker Zamiast tego.

magpie- coreml gaveats: połączenie NanoCodec jest śledzone w stałym oknie 64- ramki, więc --stream zostaje odrzucony. --language ja auto- trasach do MLX oparcie z nutą stderr ( CoreML pakiet nie wysyła jeszcze aktywa tokenizer JA). CoreML silnik lazy- ładuje MLX pakiet na pierwszej syntezie, aby napędzić LocalTransformer i średnio osadzone audio; pure- CoreML wdrażanie jest śledzone jako kontynuacja.

Przykłady:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Instrukcja Opcje TTS

Eksperymentalne: Zbuduj natywną obsługę SDK z głównego źródła. Homebrew i inne wcześniej zbudowane wydania CLI mogą nie zawierać tych silników jeszcze.

Realizacja (PR # 541): main

Opublikowane pakiety MLX: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Dostarcz jeden argument tekstowy, --instruct, i dokładnie jeden katalog pakietów lub kompatybilny model ID. Referencyjne audio, stałe głośniki i wejście wsadowe są nieobsługiwane.

Każde pole tekstowe i instruktażowe jest ograniczone do bajtów 32,768 UTF-8. Kompletny wyświetlony sygnał wejściowy, w tym jego szablon, musi mieścić się w żetonach 4,096, przy czym wejścia przekraczające każdą z wartości granicznych są odrzucane.

FireRedTTS3-Instruct zachowuje model Float32 i wagi dekoderów. Zwraca buforowany dźwięk: omit --stream. Angielski i chiński aliasy --language są akceptowane. Granica generacji podnosi błąd zamiast zwrotu okrojonego sukcesu.

MOSS- VoiceGenerator zachowuje wagę językową BF16 i kodek syntezy FP32. Użyj --stream dla przyrostowego PCM. Omit --language oraz umieścić wymagania językowe w --instruct, a zakończenie wysysa wszystkie szesnaście kodebook.

Pomiary krótkiego skryptu opisują testowaną konfigurację; istniejący model certyfikacji opóźniania pozostaje nierozstrzygający.

FireRedTTS3-Instruct · MOSS- VoiceGenerator

kokoro

Lekkie text- to- mowy przy użyciu Kokoro-82M na Neural Engine (CoreML). Non-autoregresywny - pojedyncze przejście do przodu, ~ 45ms latency.

speech kokoro "<text>" [options]

Przykłady:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

odpowiedz

Full-duplex dialog mowy przy użyciu PersonaPlex 7B.

speech respond [options]

Przekroczenie pobierania próbek

Przykłady:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

voice- chat

Na żywo pełne-duplex rozmowy z Soniqo, zasilany przez NVIDIA Nemotron VoiceChat 11B. Tryb mikrofonu umożliwia Apple AEC, streaming RNN- T podpisy, człowieka w czasie rzeczywistym mierniki, adaptacyjne 8→2→1-krok Udoskonalenie głosu, i ograniczone wejście resynchronizacji zamiast długi cichy chwyt-up.

speech voice-chat [options]

Przykłady:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Z włączoną funkcją MCP, model- native call JSON i zwrócone tokeny odpowiedzi narzędzi używają dwufazowej ścieżki funkcji Asynchronous NVIDIA na osadzaniu ciche buforowane. Nie ma transkrypcji router, regular- ekspresja matcher, przypomnienia projekt stanu, naprawy argumentów, lub skrypt asystent odpowiedzi: sam punkt kontrolny wybiera narzędzie i jego argumenty. Koordynator tylko waliduje natywny JSON, stosuje politykę odczytu / zapisu, wykonuje wybraną operację MCP i zwraca ustrukturyzowane wyniki poprzez przeszkolony kanał funkcyjny. allow zasady, usunięcie drugiego potwierdzenia skrętu z demo przypomnienia; identyczny wypełniony zapis jest nadal tłumiony do świeżej mowy użytkownika. confirm tylko wtedy, gdy potwierdzenie za pośrednictwem modela jest wyraźnie pożądane, lub deny komendy MCP uruchamiane lokalnie za pomocą systemu plików bieżącego użytkownika i uprawnień aplikacji, więc używaj tylko zaufanych plików konfiguracyjnych i pakietów serwerowych.

Percepcja mikrofonu i podpisy RNN- T są kontynuowane między etapami modelu, podczas gdy zewnętrzne MCP I / O działa w oddzielnym zadaniu. Przenośne regiony mikrofonu uchwycone podczas gdy wspólna funkcja cache jest zajęty są zatrzymywane jako ocenione embdings i odtwarzane przyczynowo po wyniku, więc podpisy follow- up nie jest już odrzucane. Replay jest ograniczony do jednego starego ramy semantyczne na żywo callback; odpowiadająca nowa ramka pozostaje w kolejce, repease tekst jest zmuszony do PAD, a już przeterminowane audio nie jest w kolejce do głośnika. Dopasowanie bezczynności EAR- TTS pozycji cache synchronizacji później w obciętych Eight- frame chunds. Dashboard separates rodzime call dekodowania, MCP runda trip i synchronizacja pamięci podręcznej z rezultatem narzędzia. Linie dekodowania i rezultatu pokazują model / kalkulację pamięci podrękowej plus live interleave, pozostałość użyta przez aktora plony, księgowość, i contention systemu; pierwszoplanowy dźwięk RTF nie mierzy żadnej z tych prac w tle. Gdy połączenie jest otwarte, obowiązkowy kanał tekstowy PAD pomija swoją nieużywaną projekcję pełnego słownictwa. Po EOTC, dwufazowa ścieżka zamraża wspólny język i osi czasu EAR- TTS, podczas gdy wynik zewnętrzny jest w toku; ramki mikrofonu pozostają na żywo dla percepcji i RNN- T, ale nie stają się syntetycznymi pozycjami PAD przed wynikiem. Znane wyniki powtórzenia w limitowanej 16-token caucal- prefill kawałki. Pętla na żywo odczytuje jeden spójny migawka funkcji i jeden MCP migawki co 160 ms zamiast wykonywania kilku połączeń aktorów po każdej ramie mikrofonu. Zwykła rozmowa zachowuje 40-frame RNN- T bezpieczeństwa fallback, podczas gdy już proponowany natywny kandydat narzędzie może popełnić po ośmiu pustych ramkach. Tekst i kanały funkcji nadal wspólne jeden Nemotron- H cache, więc spójne zależny od wyników mowy zaczyna się dopiero po zakończeniu odpowiedzi funkcji; arbitralne asystent mowy nie może bezpiecznie uruchomić jako druga przyczyna przyszłości równolegle.

Czysty M5 Pro 48 Zmierzony profil uwalniania GB 3.56–4.00 sekundy od końca mowy do pierwszego modela-autorski post-narzędzie mowy dla trzech przypomnienia-listy frazowania ze stałą 200 MS provider. Native JSON dekodowanie używane 27–31 stopień w 1.15–1.28 sekundy i 67-token wynik zsynchronizowany w 0.58–0.72 sekund. Z celowo wolne dwa-sekundowe dostawcy, praca mikrofonu podczas oczekiwania pozostał 19.6 ms p95 oraz 19.8 ms maximum. Ostateczny pomiar czystego przebiegu 118 ms microphone-service p95 oraz 139 ms p95 lateness beyond the 80 ms przechwytywania terminów. Dostawca dodaje więc latencję odpowiedzi bez przechwytywania zamrożenia; pozostałe limit obliczeń jest rodzime wywołanie dekodowania plus Shared- cache result resue.

Demo w pakiecie ujawnia tylko list_reminders, create_reminderoraz update_reminder; odkrycie listy pozostaje adapterowo-prywatne. Jeden spłaszczony przypomnienie obejmuje każdą listę EventKit i zastępuje długie UUID dostawcy ze stabilnymi, sesyjnoskopowymi referencjami, takimi jak: r1. Aktualizacje zwraca jeden z tych model- widocznych odniesień, a adapter rozwiązuje go dokładnie przed wykonaniem; nigdy nie pasuje do nazw wypowiedzianych lub tekstu transkrypcji. Aktualizację No- op i priorytety fractional są raczej odrzucone niż zgłaszane jako udane zmiany. Kontrolowana regresja aktualizacji spadła z 67 kroki / 5.25 sekundy z realistycznym UUID do 37 kroki / około 2.29 sekundy z r1. Tworzenie wymaga tylko nazwy, podczas gdy opcjonalne domyślne ustawienia dostawcy pozostają opcjonalne. Na froncie streaming RNN- T wykorzystuje NeMo- kompatybilne odbicie wyściełania na krawędziach okien toczenia zamiast zero wyściełań.

Tryb plików jest ścieżką reprodukcyjną beztwardego zapisu. --force-turn-at-end jest przeznaczony tylko do kontrolowanych testów regresji i nie może być zgłaszana jako naturalna zmienność.

audio- translate

Streaming przemówień-to@-@ mowy tłumaczenie za pomocą Kyutai Hibiki Zero-3B. FR / ES / PT / DE → PL, jeden binarny, nie chmura. Pełny przewodnik →

speech audio-translate <input.wav> [options]

Zmienne środowiska

Przykłady:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

vad

Detekcja aktywności głosu przy użyciu segmentacji Pyannote.

speech vad <file> [options]

vad- stream

Wykrywanie aktywności głosu przy użyciu strumieniowania Silero VAD v5. Procesy mowy w 32Ms chunks.

speech vad-stream <file> [options]

skręt

Wykrywanie zakrętu z Smart Turn v3.2 (8M params, CoreML, 23 ). Wyniki ostatniego 8 s zarejestrowanej wypowiedzi i drukuje prawdopodobieństwo, że głośnik skończył, kompletny / niekompletny werdykt i czas wnioskowania.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

budź się

Wake- word / słowo kluczowe wyświetlające urządzenie na KWS Zipformer (3.49M params, CoreML INT8, 26× real- time, tylko angielski).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

diaryzacja

Diaryzacja mówcy - zidentyfikuj, kto mówił kiedy.

speech diarize <file> [options]

Przykłady:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

głośnik pokładowy

Wyciągnij głośnik osadzający wektor z audio.

speech embed-speaker <file> [options]

language- id

Identyfikacja języka mówionego w pliku audio.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoza

Usunąć dźwięk tła za pomocą DeepFilterNet3 na Neural Engine.

speech denoise <file> [options]

Przykład:

speech denoise noisy-recording.wav -o clean.wav

komponowanie

Generuj 30 s muzyki z polecenia tekstowego za pomocą MAGNET na MLX.

speech compose <prompt> [options]

Przykłady:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

transkrybe- partia

Transcribe katalog plików audio; model jest ładowany raz.

speech transcribe-batch <input-dir> [options]

przywracanie

Przywróć mowę (denoise + dereverb) za pomocą wyjścia Sidon - CoreML, 48 kHz.

speech restore <audio-file> [options]

oddzielny

Oddziel utwór muzyczny na łodygi (wokale, perkusje, basy, inne).

speech separate <input> [options]

upsample

Superrozdzielczość audio z FlashSR - jednostopniowa destylacja AudioSR, wyjście 48 kHz.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift podpory 0.6B /256 oraz 1.7B /1024 wiązki; 0.6B pozostaje domyślny. Eksperymentalny 1.7B domyślne pakiety CPU i wymaga przygotowanego 2048- kanał Float32 .npy głośnik osadzany poprzez --speaker-embeddingGPU / ANE i iOS pozostają odrębne.

speech qwen3-tts-coreml "<text>" [options]

vibevoice

Text- to- mowy z Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

vibevoice- encode- voice

Zamieść podkład głosu VibeVoice z nagrania odniesienia i transkrypcji.

speech vibevoice-encode-voice <input> "<transcript>" [options]

Przetłumacz

Przetłumacz tekst na język docelowy za pomocą MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

clef

Wybierz jedną z dozwolonych odpowiedzi używając Clef- flash lokalnie na Apple Silicon. Podgląd rozwoju.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Zapytanie zawiera tekst w state i zamówione questions tablica. Każde pole ma id oraz type: choice o choices mapa, noul dla true / false, lub score z zamówionym levels. Wyjściem jest JSON z prawdopodobieństwami, wybranymi odpowiedziami, licznikiem symboli, czasem obciążenia modela i czasem podejmowania decyzji.

Domyślnie, polecenie pobiera aufklarer/Clef-flash-9B-MLX-4bitUżyj. --model-dir dla istniejących plików lub --offline dla pamięci podręcznej. Token limit domyślnie do 4096 i akceptuje 1- 16384. Zobacz Clef guide dla pełnego żądania i mierzonego wykorzystania pamięci.

gliner

Schematycznie uwarunkowana klasyfikacja tekstu i podmiot rozciąga się z GLiNER2.5-Decide (MLX). Podgląd rozwoju: jeszcze nie w wydaniu. Pomiń tekst do czytania stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

avatar- motion

Generuj ramę współczynnika przesuwu z dźwięku mowy NVIDIA Audio2Face-3D.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080