Awtomatikong salin · Orihinal sa Ingles

Panuntunan sa Pagsasalita — DeepFilterNet3

Alisin ang ingay sa paligid mula sa mga rekording sa pagsasalita na ginagamit DeepFilterNet3. Ang modelo ay tumatakbo sa Neural Engine sa pamamagitan CoreML para sa mahusay na pagbabago, samantalang ang lahat ng pagpoproseso ng signal (STFT, ERB filterbank, malalim na pagsala) ay tumatakbo sa ibabaw ng CPU via Accelerate/vDSP.

Opisyal na DF3 paridad

Sumusunod ang daanan ng DSP libdf dulo: 1/960 analysis scaling, normalization alpha 0.99, sero-padded deep-fitter taps, at i-tama ang Numbey C/Fortranctrix order. 20-clip VoiceBank-DEMAND subset, Swift Nagkaroon ng PESQ 3.097, TOI 0.964, at SI-SDR 19.12 dB laban 3.029, 0.962, at 18.31 dB para sa opisyal Python DF3.

Bago/pagkatapos ng sampol

Isang maingay nalip ng pagsasalita na nilagyan ng DeepFilterNet3 upang marinig mo ang CoreML denoiser bago mo patakbuhin ito sa inyong lugar.

Maingay na inputMP3, 48 kHz
DeepFilterNet3 outputMP3, 48 kHz

Arkitektura

DeepFilterNet3 ay gumagamit ng isang dual-decoder na arkitektura na naghihiwalay sa spectral na sobreng pampahusay mula sa pinong-guined spectrral na pagbawi.

Bagsag Mga Detalye
PAGTUTOK Maikling-time Fourier Palitan sa pamamagitan ng vDSP
Mang - aakit4 SepConv2d layers + SqueezedGRU
DEB Decoder Ang maskarang Sigmoid ay nagpahid sa mga bandang ERB-scale frequency
DF Decoder5-tap complex-halaga sa pagsala ng mga cofict
ISTFTIlagay sa Maling lugar ang ATF upang muling mabuo ang time-domain signal

Ang DEB Decoder Tinatayang isang maskara sa Equivalent Rectanguilar Bandwidth (ERB) scale, hawak ang malawak na hugis ng spectral. DF Decoder Hulaan ang 5-tap complex pagsala ng mga codibilidad para sa mahusay na detalye, paglalapat ng mga pinag-aaralang filter nang direkta sa frequency domain.

Pagpoproseso ng Pipeline

  1. KABAITAN — Ilagay ang maingay na audio sa time-frequency representasyon gamit ang vDSP
  2. ERB Features — Mapang STFT bin sa mga bandang ERB-scale frequency
  3. Neural Network — Ang mga prosesong Encoder ay nagtatampok sa Neural Engine; inihuhula ng ERB at DF decoders ang mga moment parameter
  4. PAMBANG Maskara — Pahiran ang sigmoid ng maskara upang pigilin ang ingay sa spektral na sobre
  5. Paglubog ng Tubig — Pahiran ang 5-tap ng masalimuot na mga codiabilidad para sa mahusay na spectral na pagbawi ng detalye
  6. ISTFT — Iayos ang malinis na audio mula sa pinahusay na ispektrum

Huwaran

Kaurian Laki Pag - iingat
Pagkawasak°2.2 MB8-bit palsetized na mga pabigat, FP16 comute

Paggamit ng CLI

# Denoise audio (output to _denoised.wav)
.build/release/speech denoise noisy.wav

# Specify output file
.build/release/speech denoise noisy.wav -o clean.wav

# Use another compatible HuggingFace repository
.build/release/speech denoise noisy.wav --model owner/DeepFilterNet3-CoreML

Mga Mapagpipilian

Mapagpipilian Paglalarawan
--output, -oOutput file path (nakasasaad sa <input>_denoised.wav)
--modelIhambing ang HuggingFace model restoran ID (default: aufklarer/DeepFilterNet3-CoreML)
Mahalaga

DeepFilterNet3 ang tanong Neural Engine sa pamamagitan CoreML, hindi sa GPU sa pamamagitan MLX. Nangangahulugan ito na mahusay itong gumana kahit na ang ibang mga modelong GPU-based (mga modelong may GPU).ASR, TTS) Walang metal na koleksyon ang kailangan.

Modelong mga Pagpapababa ng Pabigat

Huwaran LakiHuggingFace
DeepFilterNet3 (CoreML, 8-bit palsettized)°2.2 MB Aufklarer/DeepFilterNet3-CoreML

Kasama ng Iba Pang mga Modelo

Ang pagpapasulong sa pagsasalita ay lalo nang kapaki - pakinabang bilang isang hakbang bago ang pagproseso sa iba pang mga modelo:

# Denoise then transcribe
.build/release/speech denoise noisy.wav -o clean.wav
.build/release/speech transcribe clean.wav

Swift API

import SpeechEnhancement

let model = try await SpeechEnhancer.fromPretrained()
let cleanAudio = try model.enhance(audio: noisySamples, sampleRate: 48000)

Makukuha rin ito sa Android, at patuloy Linux & Windows sa pamamagitan ng Speech Core (ONNX Runtime).