Maskinoversettelse · Engelsk original
Kom i gang
Foretrekk en vert API? Den samme transkripsjon, syntese og kloning kjører som en administrert tjeneste - OpenAI- og ElevenLabs-kompatibel. soniqo.audio/cloud →
Installer speech CLI for å overføre og generere lyd på Apple Silicon Mac. Bruk Swift SDK for å legge til talebehandling til macOS og iOS
CLI-krav
- macOS 15+ (Sequoia eller senere)
- Apple Silicon (arm64)
- 8 GB RAM minimum (16 GB anbefales for større modeller)
Installer CLI
Homebrew (CLI)
Bruk den opprinnelige ARM Homebrew (/opt/homebrew) for å installere speech og speech-server HTTP/WebSocket serveren.
brew install speech
speech --help
Første oppgave: transskriber en M4A fil
Last ned prøveopptaket, deretter overføre det i terminalen:
Koble til internett for første kjøring. Den valgte modellen lastes ned fra HuggingFace og forblir cached på Mac. Etter installasjon, kan du overføre lokale opptak frakoblet med den modellen.
curl -fL https://soniqo.audio/audio/samples/cli/transcription-sample.m4a -o transcription-sample.m4a
speech transcribe transcription-sample.m4a --engine parakeet
Fortsett med M4A-to-text guide.
Rask start: Tekst til tale
speech speak "Hello, world!" --output hello.wav
Kjør en lokal tale API
Start HTTP/WebSocket serveren for lokale API forespørsler:
speech-server --port 8080
Swift SDK
Legg til Swift-modulene til macOS 15+ eller iOS 18+-appen med Swift Pakkehåndtering.
Swift Pakkehåndtering
Legg speech-swift til Package.swift avhengigheter:
dependencies: [
.package(url: "https://github.com/soniqo/speech-swift", branch: "main")
]
Legg deretter til modulene du trenger til målet ditt:
.target(
name: "MyApp",
dependencies: [
.product(name: "Qwen3ASR", package: "speech-swift"),
.product(name: "Qwen3TTS", package: "speech-swift"),
.product(name: "SpeechVAD", package: "speech-swift"),
// ... add any modules you need
]
)
Tilgjengelige moduler
| Modul | Beskrivelse |
|---|---|
Qwen3ASR | Tale-til-tekst (Qwen3-ASR) |
WhisperASR | Tale-til-tekst (Whisper Large-v3 Turbo, CoreML) |
ParakeetASR | Tale-til-tekst (Parakeet TDT, CoreML) |
Qwen3TTS | Tekst-til-speech (Qwen3-TTS) |
CosyVoiceTTS | Tekst-til-speech (CosyVoice3, flerspråklig) |
KokoroTTS | Tekst-til-speech (Kokoro-82M, CoreML, iOS-klar) |
Qwen3Chat | Påbegynner LLM chat (Qwen3.5-0.8B, MLX + CoreML) |
PersonaPlex | Speech-to-speech (PersonaPlex 7B) |
SpeechVAD | VAD (Silero + Pyannote), diarisering, høyttalerinnbygging |
SpeechEnhancement | Støyundertrykkelse (DeepFilterNet3, CoreML) |
AudioCommon | Delte protokoller, lyd I/O, HuggingFace nedlaster |
Overskriv lyd med Swift
import Qwen3ASR
let model = try await Qwen3ASRModel.fromPretrained()
// audioSamples: [Float] PCM at 16 kHz (e.g. decoded from a WAV)
let text = model.transcribe(audio: audioSamples, sampleRate: 16000)
print(text)
Generer tale med Swift
import Qwen3TTS
import AudioCommon
let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))
Bygg fra Kilde
Hvis du vil bygge en kilde, kan du installere Xcode 16.3+ med Metal Toolchain og Swift 6+. Klone lagret, bygge CLI, og deretter sjekke binær i utsjekkingen:
git clone https://github.com/soniqo/speech-swift.git
cd speech-swift
make build
.build/release/speech --help
make build kompilerer MLX Metal Shader-biblioteket automatisk. Uten det, GPU inferens kjører ~5x langsommere på grunn av JIT Shader-sammensetning.
Shader bygger standard til macOS 15.0 og Metal 3.2, selv med nyere SDKs. Overstyr disse med MACOSX_DEPLOYMENT_TARGET og MLX_METAL_LANGUAGE_VERSION for egendefinerte bygg; høyere mål kan utelukke eldre systemer. Kompilator, SDK, flagg, skript eller kilde endrer bufferen. Feilaktig sammenstilling eller kobling av det forrige biblioteket og cache hash.
Modellnedlastninger
Modeller lastes ned automatisk fra HuggingFace ved første bruk og cached i ~/Library/Caches/qwen3-speech/.
Alle modeller lastes ned fra HuggingFace ved første bruk. Omtrentlige størrelser:
| Modell | Størrelse | RAM Bruk |
|---|---|---|
| Qwen3-ASR 0.6B (4-bit MLX) | 680 MB | ~ 1.0 GB topp |
| Qwen3-ASR 0.6B (8-bit MLX) | 1.0 GB | ~1.3 GB topp |
| Qwen3-ASR 0.6B (CoreML INT8) | 180 MB | ~1.4 GB topp |
| Qwen3-ASR 1.7B (4-bit MLX) | 2.1 GB | ~3 GB topp |
| Qwen3-ASR 1.7B (8-bit MLX) | 3.2 GB | ~2.7 GB topp |
| Parakeet-TDT v3 (CoreML INT8) | 500 MB | ~900 MB topp |
| Whisper Large-v3 Turbo (CoreML FP16) | 1.6 GB | ~384 MB topp |
| Omnilingual CTC 300M (4-bit MLX) | 193 MB | ~400 MB topp |
| Omnilingual CTC 300M (CoreML INT8) | 312 MB | ~ 550 MB topp |
| Qwen3-TTS 0.6B (4-bit) | 1.7 GB | ~2 GB topp |
| Qwen3-TTS 1.7B (4-bit) | 3.2 GB | ~4 GB topp |
| CosyVoice3 (4-bit LLM) | 1.2 GB | ~1.5 GB topp |
| Kokoro-82M (CoreML INT8) | 89 MB | ~200 MB topp |
| Qwen3.5-Chat 0,8B (INT4 MLX) | 418 MB | ~ 700 MB topp |
| Qwen3.5-Chat 0,8B (INT8 CoreML) | 981 MB | ~1.2 GB topp |
| PersonaPlex 7B (8-bit) anbefalt | 9.1 GB | ~11 GB topp |
| PersonaPlex 7B (4-bit) | 4.9 GB | ~ 6,5 GB topp |
| Pyannote VAD | 5.7 MB | ~20 MB topp |
| Silero VAD v5 | 1.2 MB | ~5 MB topp |
| WeSpeaker ResNet34 | 25 MB | ~50 MB topp |
| DeepFilterNet3 (FP16) | 4.2 MB | ~10 MB topp |
Neste trinn
- Fortsett med M4A-to-text guide
- CLI referanse - alle tilgjengelige kommandoer og alternativer
- Qwen3-ASR Veiledning - detaljert tale-til-tekst-dokumentasjon
- Qwen3-TTS Veiledning - detaljert tekst-til-speech dokumentasjon
- API & protokoller - delte protokoller og typer