תרגום מכונה · המקור באנגלית

שיפור דיבור - DeepFilterNet3

להסיר רעש רקע מהקלטות דיבור DeepFilterNet3המודל פועל על Neural Engine באמצעות CoreML עבור הקצאה יעילה, בעוד כל עיבוד אותות (STFT, ERB filterbank, סינון עמוק) פועל על CPU באמצעות Accelerate/vDSP.

DF3 Proity

נתיב DSP עוקב libdf סוף סוף: 1/960 ניתוח מקיף, נורמליזציה אלפא 0.99, Zero-paded Deep-filter ברזים, ותיקון: NumPy C/Fortran matrix order. 20קולק-DEMAND, Swift PESQ 3.097STOI 0.964SI-SDR 19.12 DB לעומת 3.029, 0.962ו 18.31 DB עבור רשמי Python DF3.

לפני / לאחר הדגימה

סרטון דיבור רועש המעובד עם DeepFilterNet3 כך שתוכל לשמוע את CoreML denoiser לפני הפעלתו מקומית.

Noisy קלטMP3, 48 kHz

DeepFilterNet3 פלט MP3, 48 kHz

ארכיטקטורה

DeepFilterNet3 משתמש אדריכלות דו-קודרית שמפרידה את מעטפה ספקטרלית שיפור של פרטים ספקטרליים מהחלמה.

שלב השלב	פרטים
STFT	זמן קצר לאחר מכן, Fourier הופך ל- vDSP
Encoder	4 SepConv2d שכבות + SqueezedGRU
ERB Decoder	מסיכת Sigmoid מוחל על להקות תדר בקנה מידה ERB
DF Decoder	5-tap מורכב מסנן coefficients
iSTFT	הפוך STFT לשחזר את אות הזמן-דומיין

The The The ERB Decoder הערכות מסיכה רווח על סולם ה- Equivalent Rectangular Bandwidth (ERB), טיפול בעיצוב רחב של ספקטרלי. DF Decoder חיזוי 5-tap מורכב סינון coefficients עבור פרטים יפים, החלת מסננים למד ישירות בתחום התדר.

המונחים: Pipeline

STFT - נניח את אודיו רועש לתוך ייצוג זמן קידוד באמצעות vDSP
ERB תכונות - Map STFT bins to ERB בקנה מידה להקות
Neural Network - תהליכי Encoder תכונות על Neural Engine; ERB ו DF decoders לחזות פרמטרים שיפור
ERB Masking - החל מסיכת רווח של סיגמאואיד כדי לדכא רעש במעטפה ספקטרלית
Deep Filtering - החל חסכוניים מורכבים של 5-tap עבור פרטים ספקטרליים בסדר התאוששות
iSTFT - Reconstruct אודיו נקי מן הספקטרום המורחב

מודל מודל

משתנה	גודל	אחריות
Default	2.2 MB	8 סיביות משקלים מצופים, FP16 compute

CLI Usage

# Denoise audio (output to _denoised.wav)
.build/release/speech denoise noisy.wav

# Specify output file
.build/release/speech denoise noisy.wav -o clean.wav

# Use another compatible HuggingFace repository
.build/release/speech denoise noisy.wav --model owner/DeepFilterNet3-CoreML

אפשרויות אפשרויות

אפשרות	תיאור תיאור
`--output`, `-o`	דרך קובץ Output (defaults to `<input>_denoised.wav`)
`--model`	Compatible HuggingFace מודל Repository ID (default: `aufklarer/DeepFilterNet3-CoreML`)

חשוב

DeepFilterNet3 רץ על Neural Engine באמצעות CoreMLלא על GPU באמצעות MLXזה אומר שזה עובד ביעילות גם בעוד מודלים אחרים המבוססים על GPU (.ASR, TTS• אין צורך בקובץ Metallib.

דגם Downloads

מודל מודל	גודל	HuggingFace
DeepFilterNet3 CoreML, 8 סיביות שיתוק)	2.2 MB	aufklarer/DeepFilterNet3-CoreML

שילוב עם מודלים אחרים

שיפור דיבור הוא שימושי במיוחד כצעד עיבוד לפני מודלים אחרים:

לפני תמליל - אודיו Denoise לפני ריצה ASR כדי לשפר את שיעור השגיאה של מילים על הקלטות רועשות
לפני הדובר להטביע - אודיו נקי יותר מייצר רמקולים אמינים יותר הטמעת קידודים
לפני diarization - הסרת רעש יכול לשפר את דיוק פלח

# Denoise then transcribe
.build/release/speech denoise noisy.wav -o clean.wav
.build/release/speech transcribe clean.wav

Swift API

import SpeechEnhancement

let model = try await SpeechEnhancer.fromPretrained()
let cleanAudio = try model.enhance(audio: noisySamples, sampleRate: 48000)

זמין גם Androidוכן הלאה Linux & Windows באמצעות דיבור Core (ONNX Runtime).