Strojový překlad · Anglický originál
Vylepšení řeči - DeepFilterNet3
Odstranit hluk pozadí z hlasových nahrávek pomocí DeepFilterNet3. Model běží na Neural Engine prostřednictvím CoreML pro efektivní odvod, zatímco veškeré zpracování signálu (STFT, ERB filterbank, hluboké filtrování) běží na CPU prostřednictvím Accelerate / vDSP.
DSP cesta následuje libdf konec až do konce: 1/960 analýza škálování, normalizace alfa 0.99, Zero- polstrované deep-filter kohouty, a správné NumPy C / Fortran matrix pořadí. Na pevné 20-clip VoiceBank- DEMAND podmnožina, Swift skóre PESQ 3.097, STOI 0.964, a SI- SDR 19.12 dB versus 3.029, 0.962, a 18.31 dB pro úředníka Python DF3.
Před / po vzorku
Hlučný reproduktor zpracovaný pomocí DeepFilterNet3, takže před spuštěním je možné slyšet denoiser CoreML.
Architektura
DeepFilterNet3 používá architekturu dual- dekodéru, která odděluje spektrální zesílení obálky od jemného-zrnitého spektrální detail obnovení.
| Fáze | Podrobnosti |
|---|---|
| STFT | Short- time Fourierova transformace přes vDSP |
| Enkodér | 4 SepConv2d vrstvy + SqueezedGRU |
| Dekodér ERB | Sigmoidní maska aplikovaná na kmitočtová pásma stupnice ERB- |
| DF dekodér | 5- tap filtračních koeficientů |
| iSTFT | Inverzní STFT rekonstruovat časovou doménu signál |
V Dekodér ERB odhadne zisk masky na Ekvivalentní Obdélníkové Bandwide (ERB) stupnice, manipulaci široké spektrální tvarování. DF dekodér předpovídá, že 5- klepne na komplexní filtrační koeficienty pro jemné detaily, přičemž aplikuje naučené filtry přímo ve frekvenční doméně.
Zpracování potrubí
- STFT - Rozložení hlučného zvuku do časové-frekvenční reprezentace pomocí vDSP
- Vlastnosti ERB - Map STFT koše na kmitočtová pásma v měřítku ERB-
- Neurální síť - Enkodér procesy funkce na Neural Engine; ERB a DF dekodéry předpovídají parametry vylepšení
- Maska ERB - Aplikujte sigmoid gain masku k potlačení hluku ve spektrální obálce
- Hluboké filtrování - Aplikujte 5-tap komplexní koeficienty pro jemné spektrální detail obnovení
- iSTFT - Rekonstruovat čistý zvuk z vylepšeného spektra
Vzor
| Varianta | Velikost | Přesnost |
|---|---|---|
| Výchozí | ~ 2.2 MB | 8-bit palettizované závaží, FP16 výpočet |
Použití CLI
# Denoise audio (output to _denoised.wav)
.build/release/speech denoise noisy.wav
# Specify output file
.build/release/speech denoise noisy.wav -o clean.wav
# Use another compatible HuggingFace repository
.build/release/speech denoise noisy.wav --model owner/DeepFilterNet3-CoreML Možnosti
| Možnost | Popis |
|---|---|
--output, -o | Výstupní cesta k souboru (selhání k <input>_denoised.wav) |
--model | Kompatibilní ID modelu HuggingFace (přednastaveno: aufklarer/DeepFilterNet3-CoreML) |
DeepFilterNet3 běží na Neural Engine prostřednictvím CoreML, ne na GPU prostřednictvím MLX. To znamená, že funguje efektivně i když jiné modely založené na GPU- (ASR, TTS) jsou spuštěny. Není nutné žádné metallib kompilace.
Stáhnout model
| Vzor | Velikost | HuggingFace |
|---|---|---|
| DeepFilterNet3 (CoreML, 8- bit palettized) | ~ 2.2 MB | aufklarer / DeepFilterNet3-CoreML |
Kombinace s jinými modely
Zvětšení řeči je zvláště užitečné jako krok před přípravou před jinými modely:
- Před přepisem - Denoise audio před spuštěním ASR pro zlepšení chybovosti slov na hlučných nahrávkách
- Před vložením reproduktoru - Čistější audio produkuje spolehlivější reproduktory
- Před diarizací - Odstranění hluku může zlepšit přesnost segmentace
# Denoise then transcribe
.build/release/speech denoise noisy.wav -o clean.wav
.build/release/speech transcribe clean.wavSwift API
import SpeechEnhancement
let model = try await SpeechEnhancer.fromPretrained()
let cleanAudio = try model.enhance(audio: noisySamples, sampleRate: 48000)Také k dispozici na Android, a dále Linux & Windows prostřednictvím jádra řeči (ONNX Runtime).