Terjemahan mesin · Versi asli bahasa Inggris

Referensi CLI

speech speak "The quick brown fox jumps over the lazy dog." --engine breeze \
  --instruct "A clear, calm English narrator." --stream -o design.wav

speech speak "Hello world." --engine pocket --stream \
  --pocket-bundle-dir /path/to/bundle --pocket-seed 42 -o hello.wav
# --pocket-model-id, --pocket-max-frames, --list-speakers

The speech perintah adalah titik masukan untuk pemrosesan bicara lokal.

Pasang dengan Homebrew

Pada Apple Silicon dengan macOS 15 atau yang lebih baru, instal CLI menggunakan Homebrew:

brew install speech
speech --help

Untuk memperbarui instalasi yang telah ada, jalankan brew upgrade speech.

Alternatif: bangun dari sumber

Dalam speech-swift checkout, jalankan make build, lalu gunakan .build/release/speechLihat Sedang Memulai panduan untuk prasyarat dan petunjuk pembangunan.

translate

Terjemahkan berkas audio ke teks.

speech transcribe <file> [options]

Contoh:

# Basic transcription
speech transcribe recording.wav

# Use larger model
speech transcribe recording.wav --model 1.7B

# CoreML encoder (Neural Engine + MLX decoder)
speech transcribe recording.wav --engine qwen3-coreml

# Use Parakeet (CoreML) engine
speech transcribe recording.wav --engine parakeet

# Use Nemotron Streaming (CoreML, English with native punctuation)
speech transcribe recording.wav --engine nemotron                                 # batch
speech transcribe recording.wav --engine nemotron --stream --partial              # streaming

# Omnilingual (CoreML, 1,672 languages)
speech transcribe recording.wav --engine omnilingual                              # 10 s window
speech transcribe recording.wav --engine omnilingual --window 5                     # 5 s window

# Omnilingual (MLX, any length up to 40 s)
speech transcribe recording.wav --engine omnilingual --backend mlx                              # 300M @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 1B                  # 1B @ 4-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 3B --bits 8         # 3B @ 8-bit
speech transcribe recording.wav --engine omnilingual --backend mlx --variant 7B                  # 7B @ 4-bit

# Cohere Transcribe 2B (MLX, INT5 default)
speech transcribe recording.wav --engine cohere
speech transcribe recording.wav --engine cohere --model int8 --language de

# Voxtral Mini 3B (MLX, INT5 default)
speech transcribe recording.wav --engine voxtral
speech transcribe recording.wav --engine voxtral --model int8 --language fr

# MOSS Transcribe Diarize (CoreML short-form)
speech transcribe recording.wav --engine moss
speech transcribe recording.wav --engine moss --model fp16

# MOSS Transcribe Diarize (MLX 128K offline context; INT5 default)
speech transcribe meeting.wav --engine moss --backend mlx
speech transcribe meeting.wav --engine moss --backend mlx --model int8 --kv-cache int8

# Whisper Large-v3 Turbo (CoreML)
speech transcribe recording.wav --engine whisper
speech transcribe recording.wav --engine whisper --model turbo --language de

# Streaming with VAD
speech transcribe recording.wav --stream --partial

align

Perataan tingkat dipaksa - mendapatkan penanda waktu yang tepat untuk setiap kata.

speech align <file> [options]

Contoh:

# Auto-transcribe then align
speech align recording.wav

# Align with known text
speech align recording.wav --text "Can you guarantee that the replacement part will be shipped tomorrow?"

bicara

SMS-to-speech sintesis.

speech speak "<text>" [options]

Opsi Qwen3-TTS

Opsi CosyVoice3

Opsi VoxCPM2

Opsi IndexTTS2

IndexTTS2 adalah suara zero- tembakan - mesin kloning didukung oleh senyawa diperluas MLX. Ini membutuhkan --voice-sample dan saat ini menjalankan batch synthesis saja.

Opsi F5-TTS

Higgs TTS pilihan 3

Opsi Magpie

NVIDIA Magpie- TTS Multibahasa 357M, 9 bahasa dengan 5 Pembicara panggang, pilih backend dengan --engine magpie (MLX, baku) atau --engine magpie-coreml (CoreML untuk model besar dengan MLX mengendarai LocalTransformer + audio penggelapan). Lihat Panduan Magpie untuk bahasa G2P yang lengkap. Kloning suara tidak didukung: --voice-sample, --speaker, dan --instruct (Di hari kiamat) dinamakan Al-Qaari 'ah karena kengerian-kengerian yang terjadi di dalamnya sangat menggentarkan kalbu. --magpie-speaker sebagai gantinya.

magpie- coreml caveats: NanoCodec bundled ditelusuri pada jendela frame 64, jadi --stream ditolak. --language ja rute otomatis ke MLX backend dengan sebuah stderr catatan ( CoreML bundel belum mengirimkan aset tokenizer JA). CoreML mesin lazy- loads MLX bundel pada sintesis pertama untuk mendorong LocalTransformer dan penggelapan audio rata-rata; penyebaran Pure- CoreML dilacak sebagai berikut-up.

Contoh:

# Basic TTS
speech speak "Hello, world!" --output hello.wav

# Voice cloning (Qwen3-TTS)
speech speak "Hello in your voice" --voice-sample reference.wav -o cloned.wav

# Voice cloning (CosyVoice)
speech speak "Hello in your voice" --engine cosyvoice --voice-sample reference.wav -o cloned.wav

# Voice cloning (IndexTTS2)
speech speak "Hello in your voice" --engine indextts2 \
    --voice-sample reference.wav --indextts2-speaking-rate 1.35 \
    --indextts2-max-pause 0.05 -o indextts2.wav

# CosyVoice multilingual
speech speak "Hallo Welt" --engine cosyvoice --language german -o hallo.wav

# Multi-speaker dialogue
speech speak "[S1] Hello there! [S2] Hey, how are you?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o dialogue.wav

# Inline emotion/style tags
speech speak "(excited) Wow, amazing! (sad) But I have to go..." \
    --engine cosyvoice -o emotion.wav

# Combined: dialogue + emotions + voice cloning
speech speak "[S1] (happy) Great news! [S2] (surprised) Really?" \
    --engine cosyvoice --speakers s1=alice.wav,s2=bob.wav -o combined.wav

# Custom style instruction
speech speak "Hello world" --engine cosyvoice --cosy-instruct "Speak cheerfully" -o cheerful.wav

# Magpie multilingual TTS — same Aria voice across 9 languages
speech speak "Hello, world." --engine magpie --magpie-speaker aria \
    --magpie-temperature 0 -o en.wav
speech speak "Hola mundo." --engine magpie --language es --magpie-speaker aria \
    --magpie-temperature 0 -o es.wav
# Japanese needs stochastic sampling
speech speak "こんにちは世界、これは音声合成システムです。" \
    --engine magpie --language ja --magpie-temperature 0.6 \
    --magpie-top-k 80 --seed 42 -o ja.wav
speech speak --engine magpie --list-speakers

# Magpie CoreML backend (ANE-accelerated, 8 languages, no streaming)
speech speak "Hello world." --engine magpie-coreml --magpie-speaker aria -o en.wav
speech speak "Hola mundo." --engine magpie-coreml --language es \
    --magpie-speaker leo -o es.wav
# Japanese auto-routes to MLX (CoreML bundle has no JA tokenizer)
speech speak "こんにちは。" --engine magpie-coreml --language ja -o ja.wav

# Streaming synthesis
speech speak "Long text here..." --stream

# Batch synthesis from file
speech speak --batch-file texts.txt --batch-size 4

# VoxCPM2 — 48 kHz studio output
speech speak "Hello there." --engine voxcpm2 --voxcpm2-variant int8 -o hi.wav

# VoxCPM2 — voice design
speech speak "Welcome to the show." --engine voxcpm2 \
    --voxcpm2-instruct "A young woman, warm and gentle voice." -o design.wav

# VoxCPM2 — single-reference cloning
speech speak "This is a cloned voice." --engine voxcpm2 \
    --voice-sample speaker.wav -o clone.wav

Instruksi opsi TTS

Percobaan: Build native SDK dukungan dari sumber utama. Homebrew dan lain prebuilt CLI rilis mungkin tidak termasuk mesin ini belum.

Implementasi (PR # 541): main

Bundel MLX yang diterbitkan: aufklarer/FireRedTTS3-Instruct-MLX-fp32 · aufklarer/MOSS-VoiceGenerator-MLX-bf16

Menyediakan satu argumen teks, --instruct, dan tepat satu direktori paket atau ID model yang kompatibel. Referensi audio, speaker tetap dan masukan batch tidak didukung.

Setiap teks dan daerah instruksi dibatasi 32,768 UTF-8 bytes. Inserm masukan yang telah diberikan lengkap, termasuk template, harus cocok dalam 4,096 Token. "Input" melebihi batas ditolak.

FireRedTTS3-Instruct ditahan Float32 Model dan bobot decoder. Ini mengembalikan audio yang dibanjiri: abaikan --stream. Inggris dan Cina --language Sebuah batas generasi menimbulkan kesalahan bukannya kembali terpotong sukses.

MoSS- Pembuat Suara mempertahankan BF16 bobot bahasa dan FP32 codec sintesis. Gunakan --stream untuk incremental PCM. Abaikan --language dan menempatkan persyaratan bahasa dalam --instructPenyelesaian menguras semua buku kode enam belas.

Instruktuasi - berikut kualitas tidak mencetak. Ukuran skrg-script menggambarkan setup teruji; ada - model sertifikasi latensi tetap tidak meyakinkan.

FireRedTTS3-Instruct · MoSS- Pembuat Suara

Kokoro

Teks ringan - to- pidato menggunakan Kokoro-82M pada Neural Engine (CoreML). Non-autoregresif - single forward pass, ~ 45ms latency.

speech kokoro "<text>" [options]

Contoh:

# Basic Kokoro TTS
speech kokoro "Hello, world!" --voice af_heart -o hello.wav

# French voice
speech kokoro "Bonjour le monde" --voice ff_siwis --language fr -o bonjour.wav

# List all 50 voices
speech kokoro --list-voices

respon

Dialog pidato penuh dengan PersonaPlex 7B.

speech respond [options]

Sampling Overrides

Contoh:

# Basic speech-to-speech
speech respond --input question.wav

# Use a female voice with compiled transformer
speech respond -i question.wav --voice NATF1 --compile

# Stream response and show transcript
speech respond -i question.wav --stream --transcript --verbose

Voice-chat

Live full--duplex conversation with Soniqo, powered by NVIDIA Nemotron VoiceChat 11mode B. Mikrofon memungkinkan Apple AEC, streaming RNNT captions, human- menghadapi real time metrics, adaptif 8→2→1-step pemurnian suara, dan terikat input resinkronisasi bukan catch-up diam panjang.

speech voice-chat [options]

Contoh:

speech voice-chat

speech voice-chat --model /path/to/complete-bundle --prebuffer-frames 3

speech voice-chat --input question.wav --output response.wav

speech voice-chat --mcp-config Examples/VoiceChatMCP/apple-reminders.json

Dengan MCP diaktifkan, model -native call JSON dan mengembalikan token tool- response NVIDIAPath fungsi asinkron tahap dua pada keheningan yang diemban. Tidak ada router transkrip, matcher ekspresi, pengingat keadaan, perbaikan argumen, atau catatan asisten jawaban: pos pemeriksaan hanya memilih sebuah alat dan argumennya. Koordinator hanya memvalidasi asli JSON, berlaku dalam kebijakan baca / tulis, mengeksekusi yang dipilih MCP operasi, dan mengembalikan hasil terstruktur melalui saluran fungsi terlatih. Penulis mengeksekusi segera di bawah baku allow kebijakan, menghapus konfirmasi kedua mengubah dari demo pengingat; sebuah penulisan lengkap identik masih ditekan sampai pidato pengguna segar. Gunakan confirm hanya ketika mode- konfirmasi mediasi secara eksplisit diinginkan, atau deny untuk menolak menulis. Perintah MCP dijalankan secara lokal dengan sistem berkas dan ijin aplikasi pengguna saat ini, jadi gunakan hanya berkas konfigurasi terpercaya dan paket server.

Persepsi Mikrofon dan RNN-T berlanjut di antara langkah-langkah model, ketika eksternal MCP I / O berjalan dalam tugas terpisah. Speech-bearing daerah mikrofon ditangkap sementara berbagi cache fungsi sibuk adalah tetap sebagai diduduki dan dimainkan causally setelah hasil, sehingga captioned follow- up tidak lagi dibuang. Replay terbatas untuk satu frame semantic tua per live callback; frame baru tetap mengantri, replay teks dipaksa ke PAD, dan alreadin-aid audio tidak pernah queed ke chaunding-chainching. MCP round trip, and tool-results cache sinkronisasi. Decode dan hasil baris menunjukkan model / cache cache cate plus live interleave, residu yang digunakan oleh hasil aktor, pembukuan, dan konposisi sistem; audio latar depan RTF tidak ada yang bekerja di latar belakang itu. Setelah panggilan terbuka, gardu teks paksa-PAD melewati proyeksi kosakata penuh yang tidak digunakan. Setelah EOTC, jalur dua-fase membeku bahasa yang sama dan EAR- TTS ketika hasil eksternal tertunda; bingkai mikropon tetap hidup untuk persepsi dan RN-T tetapi tidak menjadi posisi sintetis PAD sebelum hasil. Hasil yang diketahui diputar dalam bounded 16-token causal- prefill potongan. Loop langsung membaca satu fungsi koheren snapshot dan satu MCP snapshot setiap 160 ms bukannya membuat beberapa aktor panggilan setelah setiap bingkai mikrofon. percakapan biasa mempertahankan 40-frame RNN-T safety fallback, sedangkan sebuah already-diusulkan kandidat alat asli dapat melakukan setelah delapan frame kosong. Teks dan saluran fungsi masih berbagi satu singgahan Nmotron-H, sehingga koherent result -conditioned pidato hanya dimulai setelah respon fungsi menutup; percakapan asisten sewenang-wenang tidak dapat secara aman berjalan sebagai causal kedua masa depan dalam paralel.

A bersih M5 Pro 48 Profil rilis GB diukur 3.56–4.00 detik dari akhir dari pidato ke model pertama - pidato posting - alat untuk tiga pengingat-daftar frase dengan tetap 200 ms provider. Native JSON decoding digunakan 27–31 langkah-langkah 1.15–1.28 detik, dan 67-token hasil disinkronkan dalam 0.58–0.72 Dengan sengaja lambat dua detik penyedia, mikrofon bekerja selama menunggu tetap 19.6 ms p95 dan 19.8 ms maksimum a final clean run diukur 118 ms layanan mikrofon- p95 dan 139 ms p95 latiness luar 80 ms menangkap tenggat waktu. Penyedia sehingga menambah jawaban tanpa penangkapan titik beku; batas perhitungan yang tersisa adalah native call decoding ditambah shared- cache hasil replay.

Demo bundled hanya mengekspos list_reminders, create_reminder, dan update_reminder; daftar penemuan tetap adapter- private. Satu pengingat datar membaca mencakup setiap daftar EventKit dan menggantikan UUID penyedia panjang dengan stabil, sesi-scoped referensi seperti r1Pemutakhiran mengembalikan salah satu referensi model- terlihat, dan adaptor memperbaikinya tepat sebelum eksekusi; itu tidak pernah cocok dengan nama yang diucapkan atau teks transkrip. Update dan prioritas fractional Noop ditolak daripada dilaporkan sebagai perubahan sukses. Pemutakhiran terkendali jatuh dari 67 langkah asli / 5.25 detik dengan UUID realistis ke 37 langkah / tentang 2.29 detik dengan r1. Membuat hanya membutuhkan sebuah nama sementara baku penyedia opsional tetap opsional. Antar streaming RNNT memakai padding refleksi NMo-compatible di tepi jendela bergulir daripada nol padding.

Modus berkas adalah jalur yang dapat direproduksi secara hardware- bebas. --force-turn-at-end hanya untuk tes regresi yang dikendalikan dan tidak boleh dilaporkan sebagai perubahan natural.

audio- terjemahkan

Streaming speech- to-speech translation menggunakan Kyutai Hibiki Zero-3B. FR / ES / PT / DE AND, binari tunggal, tanpa awan. Pemandu penuh.

speech audio-translate <input.wav> [options]

Variabel Lingkungan

Contoh:

# Translate a French clip to English
speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Spanish, 8-bit, verbose
speech audio-translate input_es.wav -o out.wav --source-lang es --quantization 8bit --verbose

# Deterministic mode (matches the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out.wav --source-lang fr

vad

Deteksi aktivitas suara offline menggunakan Pyannote Segmentasi.

speech vad <file> [options]

vad-stream

Streaming deteksi aktivitas suara menggunakan Silero VAD v5Proses pidato di 32Ny.

speech vad-stream <file> [options]

putar

End-of -turn deteksi dengan Smart Turn v3.2 (8M params, CoreML, 23 Bahasa). Skor terakhir 8 s dari ucapan direkam dan mencetak probabilitas bahwa pembicara telah selesai, lengkap / lengkap vonis, dan waktu inferensi.

speech turn <file> [options]

# Probability, verdict and inference time for one utterance
speech turn utterance.wav

# Custom threshold, JSON output
speech turn utterance.wav --threshold 0.7 --json

# Streaming VAD with Smart Turn confirming each pause
speech vad-stream call.wav --smart-turn --turn-threshold 0.6 --turn-max-silence 1.5

bangun

On- perangkat wake- word / keyword melihat menggunakan KWS Zipformer (3.49M params, CoreML INT8, 26× real-time, English only).

speech wake <file> [options]

# Plain phrase, tuned defaults
speech wake recording.wav --keywords "hey soniqo"

# Explicit BPE pieces for phrases the greedy tokenizer gets wrong
speech wake recording.wav --keywords "LIGHT UP|▁ L IGHT ▁UP:0.25:2.0"

# Multiple phrases + JSON output
speech wake recording.wav \
  --keywords "lovely child|▁LOVE LY ▁CHI L D:0.25:2.0" \
             "for ever|▁FOR E VER:0.25:2.0" \
  --json

Diarize

Speaker diarization - mengidentifikasi siapa yang berbicara ketika.

speech diarize <file> [options]

Contoh:

# Basic diarization (pyannote, default)
speech diarize meeting.wav

# Community-1 (CoreML + native PLDA/VBx)
speech diarize meeting.wav --engine community1 --min-speakers 2 --max-speakers 6

# End-to-end Sortformer (CoreML, Neural Engine)
speech diarize meeting.wav --engine sortformer

# Nemotron 3 (CoreML or MLX INT8)
speech diarize meeting.wav --engine nemotron3
speech diarize meeting.wav --engine nemotron3 --nemotron3-backend mlx

# RTTM output for evaluation
speech diarize meeting.wav --rttm

# Target speaker extraction (pyannote only)
speech diarize meeting.wav --target-speaker enrollment.wav

# Score against reference
speech diarize meeting.wav --score-against reference.rttm

embed-speaker

Ekstrak speaker yang embedding vektor dari audio.

speech embed-speaker <file> [options]

language- id

Identifikasi bahasa yang diucapkan dalam berkas audio.

speech language-id <file> [options]

speech language-id recording.wav --top 5
speech language-id recording.wav --engine coreml --json

denoise

Hapus kebisingan latar belakang menggunakan DeepFilterNet3 pada Neural Engine.

speech denoise <file> [options]

Contoh:

speech denoise noisy-recording.wav -o clean.wav

compose

Hasilkan 30 s dari sebuah prompt teks menggunakan MAGNeT pada MLX.

speech compose <prompt> [options]

Contoh:

# Default: small-int4, ~10 s wall on M-series for a 30 s clip
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, slower
speech compose "lo-fi hip hop with mellow piano" --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

transcribe- batch

Terjemahkan direktori berkas audio; model dimuat sekali.

speech transcribe-batch <input-dir> [options]

restore

Kembalikan pidato (denoise + dereverb) dengan keluaran Sidon - CoreML, 48 kHz.

speech restore <audio-file> [options]

terpisah

Pisahkan trek musik ke dalam batang (vokal, drum, bass, lain).

speech separate <input> [options]

contoh-contoh

Resolusi super- audio dengan FlashSR - satu langkah disaring AudioSR, keluaran 48 kHz.

speech upsample <audio-file> [options]

qwen3-tts-coreml

Swift dukungan 0.6B /256 dan 1.7B /1024 bundles; 0.6B tetap yang default. 1.7B bundle default ke CPU dan membutuhkan persiapan 2048-channel Float32 .npy Pembicara embedding via --speaker-embeddingGPU / ANE dan iOS validasi tetap terpisah.

speech qwen3-tts-coreml "<text>" [options]

vibevoice

SMS-to- speech dengan Microsoft VibeVoice (MLX).

speech vibevoice "<text>" --voice-cache <cache> [options]

vibevoices-encode-voice

Mint sebuah singgahan suara VibeVoice dari sebuah rekaman referensi ditambah transkrip.

speech vibevoice-encode-voice <input> "<transcript>" [options]

Terjemahkan

Terjemahkan teks ke dalam bahasa target dengan MADLAD-400 (MLX).

speech translate "<text>" --to <lang> [options]

clef

Pilih dari jawaban yang diperbolehkan menggunakan Clef-flash lokal di Apple Silicon. Pratilik pembangunan.

speech clef decide request.json
speech clef decide request.json --model-dir /path/to/Clef-flash-9B-MLX-4bit
speech clef decide request.json --offline --max-tokens 4096

Permintaan berisi teks dalam state dan demi (rombongan) yang melarang dengan sebenar-benarnya (dari perbuatan-perbuatan maksiat), questions Setiap bidang memiliki id dan type: choice dengan choices peta, noul untuk benar / salah, atau score dengan perintah levelsKeluaran adalah JSON dengan probabilitas, jawaban yang dipilih, jumlah token, waktu model-beban, dan waktu keputusan.

Secara baku, perintah mengunduh aufklarer/Clef-flash-9B-MLX-4bitGunakan --model-dir untuk berkas yang ada atau --offline untuk cache. Token membatasi defaults untuk 4096 dan menerima 1- 16384. Lihat Panduan Clef untuk permintaan lengkap dan diukur penggunaan memori.

gliner

Skema klasifikasi teks dan entitas spam dengan GLiNER2.5-Decide (MLX). Pembuatan: belum dalam rilis. Abaikan teks untuk membaca stdin.

speech gliner classify "<text>" --labels <a,b,c> [options]
speech gliner extract "<text>" --labels <a,b,c> [options]

avatar-motion

Hasilkan NVIDIA Audio2Face-3D avatar-motion koefisien frame dari audio bicara.

speech avatar-motion <input> [options]

speech speak "Hello world." --engine moss-nano -o hello.wav
speech speak "The weather is nice today." --engine moss-nano \
  --voice-sample reference.wav --moss-nano-seed 1 -o cloned.wav
speech speak "Hello world." --engine moss-nano --stream --play -o streamed.wav

speech-server --inference-manifest models.json --port 8080