Maskinoversettelse · Engelsk original
Speak Enhancement - DeepFilterNet3
Fjern bakgrunnsstøy fra taleopptak ved hjelp av DeepFilterNet3. Modellen kjører på Neural Engine via CoreML for effektiv inferens, mens all signalbehandling (STFT, ERB filterbank, dyp filtrering) kjører på CPU via Accelererate/vDSP.
DSP-stien følger libdf slutten til slutten: 1/960 analyseskalering, normalisering alfa 0.99, null-plettede dypfiltertrykk, og riktig NumPy C/Fortran matrise. På en fast 20-clip VoiceBank-DEMAND undergruppe, Swift scoret PESQ 3.097, STOI 0.964, og SI-SDR 19.12 dB versus 3.029, 0,962 og 18.31 dB for offisiell Python DF3.
Før/etter prøven
En støyende taleklipp behandlet med DeepFilterNet3 slik at du kan høre CoreML denoiser før du kjører den lokalt.
Arkitektur
DeepFilterNet3 bruker en dual-decoder-arkitektur som skiller spektral konvoluttforbedring fra finkornet spektral detaljgjenoppretting.
| Stage | Detaljer |
|---|---|
| STFT | Korttid Fourier transformere via vDSP |
| Koder | 4 SepConv2d lag + SqueezedGRU |
| ERB dehydrering | Sigmoidmaske som brukes på ERB-skala frekvensbånd |
| DF-demontering | 5-trykks kompleks-verdierte filtreringskoeffisienter |
| iSTFT | Invers STFT for å rekonstruere tidsdomenesignalet |
ERB-deskriptor anslår en gevinstmaske på ekvivalent rektangulær båndbredde (ERB) skala, håndtering bred spektralforming. DF-deskription forutsier 5-tap komplekse filtreringskoeffisienter for fine detaljer, påføring lærde filtre direkte i frekvensdomene.
Bearbeiding Pipeline
- STFT - Demonter den støyende lyden i tidsfrekvens representasjon ved hjelp av vDSP
- ERB Funksjoner - Kart STFT-bøyler til ERB-skala frekvensbånd
- Neralt nettverk - Koderprosesser funksjoner på Neural Engine; ERB og DF dekodere forutsi forbedringsparametre
- ERB Masking - Påfør sigmoid gevinstmaske for å undertrykke støy i spektral konvolutten
- Deep Filtering — Påfør 5-tap komplekse koeffisienter for fin spektral detaljgjenvinning
- iSTFT — Rekonstruer ren lyd fra det forbedrede spekteret
Modell
| Variant | Størrelse | Precision |
|---|---|---|
| Standard | ~2.2 MB | 8-bit palettisert vekt, FP16 beregnet |
CLI bruk
# Denoise audio (output to _denoised.wav)
.build/release/speech denoise noisy.wav
# Specify output file
.build/release/speech denoise noisy.wav -o clean.wav
# Use another compatible HuggingFace repository
.build/release/speech denoise noisy.wav --model owner/DeepFilterNet3-CoreML Alternativer
| Mulighet | Beskrivelse |
|---|---|
--output, -o | Utgangsfilsti (standarder til <input>_denoised.wav) |
--model | Kompatibelt HuggingFace modell arkiv ID (standard: aufklarer/DeepFilterNet3-CoreML) |
DeepFilterNet3 løper på Neural Engine via CoreML Ikke på GPU via MLX Dette betyr at det fungerer effektivt selv om andre GPU-baserte modeller (ASR, TTS- Ingen metalllib-samlinger er nødvendig.
Modellnedlastninger
| Modell | Størrelse | HuggingFace |
|---|---|---|
| DeepFilterNet3 (CoreML, 8-bit palettisert) | ~2.2 MB | aufklarer/DeepFilterNet3-CoreML |
Kombinering med andre modeller
Taleforbedring er spesielt nyttig som et forbehandlingstrinn før andre modeller:
- Før transkripsjon - Denoise lyd før du kjører ASR for å forbedre ordfeilhastigheten på støyende opptak
- Før høyttalerinnbygging - Cleaner lyd produserer mer pålitelig høyttaler innbygger
- Før diarisering - Støyfjerning kan forbedre segmenteringsnøyaktigheten
# Denoise then transcribe
.build/release/speech denoise noisy.wav -o clean.wav
.build/release/speech transcribe clean.wavSwift API
import SpeechEnhancement
let model = try await SpeechEnhancer.fromPretrained()
let cleanAudio = try model.enhance(audio: noisySamples, sampleRate: 48000)Også tilgjengelig på Android, og på Linux & Windows gjennom talekjerne (ONNX Runtime).