Maskinoversettelse · Engelsk original

Kom i gang

Soniqo Sky

Foretrekk en vert API? Den samme transkripsjon, syntese og kloning kjører som en administrert tjeneste - OpenAI- og ElevenLabs-kompatibel. soniqo.audio/cloud →

Installer speech CLI for å overføre og generere lyd på Apple Silicon Mac. Bruk Swift SDK for å legge til talebehandling til macOS og iOS

CLI-krav

Installer CLI

Homebrew (CLI)

Bruk den opprinnelige ARM Homebrew (/opt/homebrew) for å installere speech og speech-server HTTP/WebSocket serveren.

brew install speech
speech --help

Første oppgave: transskriber en M4A fil

Last ned prøveopptaket, deretter overføre det i terminalen:

Koble til internett for første kjøring. Den valgte modellen lastes ned fra HuggingFace og forblir cached på Mac. Etter installasjon, kan du overføre lokale opptak frakoblet med den modellen.

curl -fL https://soniqo.audio/audio/samples/cli/transcription-sample.m4a -o transcription-sample.m4a
speech transcribe transcription-sample.m4a --engine parakeet

Fortsett med M4A-to-text guide.

Rask start: Tekst til tale

speech speak "Hello, world!" --output hello.wav

Kjør en lokal tale API

Start HTTP/WebSocket serveren for lokale API forespørsler:

speech-server --port 8080

Swift SDK

Legg til Swift-modulene til macOS 15+ eller iOS 18+-appen med Swift Pakkehåndtering.

Swift Pakkehåndtering

Legg speech-swift til Package.swift avhengigheter:

dependencies: [
    .package(url: "https://github.com/soniqo/speech-swift", branch: "main")
]

Legg deretter til modulene du trenger til målet ditt:

.target(
    name: "MyApp",
    dependencies: [
        .product(name: "Qwen3ASR", package: "speech-swift"),
        .product(name: "Qwen3TTS", package: "speech-swift"),
        .product(name: "SpeechVAD", package: "speech-swift"),
        // ... add any modules you need
    ]
)

Tilgjengelige moduler

Modul Beskrivelse
Qwen3ASRTale-til-tekst (Qwen3-ASR)
WhisperASRTale-til-tekst (Whisper Large-v3 Turbo, CoreML)
ParakeetASRTale-til-tekst (Parakeet TDT, CoreML)
Qwen3TTS Tekst-til-speech (Qwen3-TTS)
CosyVoiceTTS Tekst-til-speech (CosyVoice3, flerspråklig)
KokoroTTS Tekst-til-speech (Kokoro-82M, CoreML, iOS-klar)
Qwen3ChatPåbegynner LLM chat (Qwen3.5-0.8B, MLX + CoreML)
PersonaPlex Speech-to-speech (PersonaPlex 7B)
SpeechVADVAD (Silero + Pyannote), diarisering, høyttalerinnbygging
SpeechEnhancementStøyundertrykkelse (DeepFilterNet3, CoreML)
AudioCommonDelte protokoller, lyd I/O, HuggingFace nedlaster

Overskriv lyd med Swift

import Qwen3ASR

let model = try await Qwen3ASRModel.fromPretrained()
// audioSamples: [Float] PCM at 16 kHz (e.g. decoded from a WAV)
let text = model.transcribe(audio: audioSamples, sampleRate: 16000)
print(text)

Generer tale med Swift

import Qwen3TTS
import AudioCommon

let model = try await Qwen3TTSModel.fromPretrained()
let audio = model.synthesize(text: "Hello, world!", language: "english")
try WAVWriter.write(samples: audio, sampleRate: 24000, to: URL(filePath: "hello.wav"))

Bygg fra Kilde

Hvis du vil bygge en kilde, kan du installere Xcode 16.3+ med Metal Toolchain og Swift 6+. Klone lagret, bygge CLI, og deretter sjekke binær i utsjekkingen:

git clone https://github.com/soniqo/speech-swift.git
cd speech-swift
make build
.build/release/speech --help
Viktig

make build kompilerer MLX Metal Shader-biblioteket automatisk. Uten det, GPU inferens kjører ~5x langsommere på grunn av JIT Shader-sammensetning.

Shader bygger standard til macOS 15.0 og Metal 3.2, selv med nyere SDKs. Overstyr disse med MACOSX_DEPLOYMENT_TARGET og MLX_METAL_LANGUAGE_VERSION for egendefinerte bygg; høyere mål kan utelukke eldre systemer. Kompilator, SDK, flagg, skript eller kilde endrer bufferen. Feilaktig sammenstilling eller kobling av det forrige biblioteket og cache hash.

Modellnedlastninger

Modeller lastes ned automatisk fra HuggingFace ved første bruk og cached i ~/Library/Caches/qwen3-speech/.

Alle modeller lastes ned fra HuggingFace ved første bruk. Omtrentlige størrelser:

Modell StørrelseRAM Bruk
Qwen3-ASR 0.6B (4-bit MLX)680 MB~ 1.0 GB topp
Qwen3-ASR 0.6B (8-bit MLX)1.0 GB~1.3 GB topp
Qwen3-ASR 0.6B (CoreML INT8)180 MB~1.4 GB topp
Qwen3-ASR 1.7B (4-bit MLX)2.1 GB~3 GB topp
Qwen3-ASR 1.7B (8-bit MLX)3.2 GB~2.7 GB topp
Parakeet-TDT v3 (CoreML INT8)500 MB~900 MB topp
Whisper Large-v3 Turbo (CoreML FP16)1.6 GB~384 MB topp
Omnilingual CTC 300M (4-bit MLX)193 MB~400 MB topp
Omnilingual CTC 300M (CoreML INT8)312 MB~ 550 MB topp
Qwen3-TTS 0.6B (4-bit)1.7 GB~2 GB topp
Qwen3-TTS 1.7B (4-bit)3.2 GB~4 GB topp
CosyVoice3 (4-bit LLM)1.2 GB~1.5 GB topp
Kokoro-82M (CoreML INT8)89 MB~200 MB topp
Qwen3.5-Chat 0,8B (INT4 MLX)418 MB~ 700 MB topp
Qwen3.5-Chat 0,8B (INT8 CoreML)981 MB~1.2 GB topp
PersonaPlex 7B (8-bit) anbefalt9.1 GB~11 GB topp
PersonaPlex 7B (4-bit)4.9 GB~ 6,5 GB topp
Pyannote VAD 5.7 MB~20 MB topp
Silero VAD v51.2 MB~5 MB topp
WeSpeaker ResNet3425 MB~50 MB topp
DeepFilterNet3 (FP16)4.2 MB~10 MB topp

Neste trinn