תרגום מכונה · המקור באנגלית

שחזור דיבור - Sidon

לשחזר את הדיבור רועש, מהדהד או מוגבל לכדי ניקוי 48 kHz אודיו עם Sidon - מודל יחיד המשלב denoising, dereverberation, ואת רוחב פס הרחבה.זה פועל לחלוטין על-יד (CoreML על Apple Silicon, ONNX Runtime במקום אחר). התייחסות קוליתהוא מנקה את ההקלטה תוך שמירה על זהות הדובר.

ארכיטקטורה

Sidon הוא צינור שני שלבים: תכונה המבוססת על עצמי מנקה את ייצוג הדיבור, ואת vocoder עצבי מסנכר מחדש גלפור נקי ממנו.

הצינור הוא 16 kHz audio → features → predictor → DAC decoder → 48 kHz audio סך 246M פרמטרים (193.6Mחיזויor + 52.4M vocoder).

המונחים: Pipeline

1. Feature החילוץ - להשלים את w2v-BERT 2.0 תכונות של קלט 16 kHz (Accelerate /vDSP על Apple, C++ על פלטפורמות אחרות)
2. Predictor - The LoRA-adapted w2v-BERT encoder מפות רועשות / תכונות מרעישות לנקות אלה
3. Vocoder - DAC decoder משחזר גלפור 48 kHz נקי מהתכונות המטוהרות
4. Chunking - אודיו ארוך יותר מעובד בחלונות קבועים (~10 s) ו תפרים על קו הזמן 48 kHz

איכות איכות

על קליפ הפניה reverant, שיקום מרים איכות perceptual תוך שמירה על זהות הדוברת שלם (ללא הקצאת MOS):

הרווח הגדול ביותר הוא בציון הרקע (הפסקה הוסרה) הדומה ליושב ראש נשמרת, וזה מה שחשוב בעת ניקוי הפניה משובצת.

מודלים

Quantization דחוס את החיזוי; ה- DAC vocoder נשאר דיוק גבוה יותר (איכות דיוק). int8 שימוש ב- k-means Palettization; ONNX, int8 משקל בלבד לערוץ.

CLI Usage

# Restore audio (denoise + dereverb) to clean 48 kHz
.build/release/speech restore noisy.wav -o clean.wav

# Clean a voice-cloning reference before TTS
.build/release/speech speak "Hello world" --voice-sample ref.wav --clean-reference

מיקום

שני השלבים מופעלים על חומרה שונה כברירת מחדל: המנבא על הציפוי Neural Engine ה-DAC vocoder על GPUשם עומס המהפכות הנרחב מאוד שלו ורץ מהר ביותר. --compute-units למקם את שני השלבים ane, gpu, cpu, allSwift API לוקח גם predictorComputeUnits: ו vocoderComputeUnits: בנפרד.

# Default placement: predictor on the Neural Engine, vocoder on the GPU
.build/release/speech restore noisy.wav -o clean.wav

# Pin both stages to one backend
.build/release/speech restore noisy.wav --compute-units gpu -o clean.wav

דגם Downloads

שילוב עם מודלים אחרים

Sidon הוא שימושי ביותר כצעד עיבוד:

• לפני הקול שיבוט - ניקוי הפניה רועשת / חוזרת, כך שיבוט יורש את הקול, לא החדר
• לפני תמליל - שחזור הקלטות ארכאיות או מרוחקות לשיפור ASR דיוק
• לפני הדובר להטביע - אודיו נקי יותר מניב מצעים אמינים יותר

Swift API

import SpeechRestoration

let restorer = try await SpeechRestorer.fromPretrained()
let cleanAudio = try restorer.restore(audio: noisySamples, sampleRate: 16000)

זמין גם Android, Linux & Windows באמצעות דיבור Core (ONNX Runtime)נבנה על Sidon (MIT).