Traducere automată · Originalul în engleză
Restaurarea discursului Sidon
Restaurează vorbirea zgomotoasă, reverberantă sau limitată de bandă la curat 48 kHz audio cu Sidon . Un singur model care combină denigrarea, dereverberarea și extinderea lărgimii de bandă. Se execută în întregime pe dispozitive (CoreML la Apple Silicon, ONNX Runtime în altă parte. Deoarece reconstruiește vorbirea din reprezentări învățate și nu doar mascarea zgomotului, este deosebit de bun la pregătirea unei referințe de închidere a vocii: curăță înregistrarea în timp ce păstrează identitatea vorbitorului.
Îmbunătățirea discursului (DeepFilterNet3) este un model minuscul, în timp real soiuri de zgomot . Sidon este un instrument mai greu restaurantgenerativ: el elimină, de asemenea, reverberarea și reconstruiește detaliile de înaltă frecvență la 48 kHz.Use DeepFilterNet3 pentru îndepărtarea zgomotului live, Sidon pentru curățarea offline a referințelor și înregistrări arhivale.
Arhitectură
Sidon este o conductă în două etape: un predictor de caracteristici auto-supravegheat curăță reprezentarea vorbirii, și un vocodor neural resintezează o formă de undă curată de la ea.
| Etape | Detalii |
|---|---|
| Front-end | w2v-BERT 2.0 SeamlessM4T caracteristici log-mel (16 kHz → 160-dim) |
| Predictor | w2v-BERT 2.0 (8 straturi) cu cap de curăţare cu fineţe Lora → Caracteristici curăţate |
| Vocoder | Decodorul DAC resintezeaza audio 48 kHz din caracteristicile purificate |
Conducta este 16 kHz audio → features → predictor → DAC decoder → 48 kHz audio. Total 246M parametrii (193.6M predictor + 52.4M vocoder).
Conductă de prelucrare
- Caracteristical extraction bază de calcul w2v-BERT 2.0 log-mel caracteristici de intrare de 16 kHz (accelerare/vDSP pe Apple, C++ pe alte platforme)
- Predictor ? Lora-adaptat w2v-BERT hărţi de codor zgomotos / reverberant caracteristici pentru a curăţa cele
- Vocoder Decodorul DAC reconstruieşte o formă de undă 48 kHz curată din caracteristicile curăţate
- Chucking ا audio mai lung este procesat în ferestre fixe (~10 s) și cusut pe cronologie 48 kHz
Calitate
Pe un clip de referinţă reverberant, lifturi de calitate perceptuală în timp ce păstrarea intactă a identităţii difuzorului (fără referinţă MOS):
| Audio | DNSMOS OVRL | UTMOS | Speaker cosine |
|---|---|---|---|
| Intrare (reverberrant) | 2.90 | 2.99 | — |
| Sidon restaurat | 3.29 | 3.40 | 0.79 |
Cel mai mare câştig este în scorul de fundal (reverberaţie eliminate). Asemănarea speakerului este păstrată, ceea ce contează atunci când curăţi o referinţă de clonare.
Model Variante
Cuantizarea comprimă predictorul; vocodorul DAC rămâne la o precizie mai mare (calitate audio). Pe Apple, int8 utilizează palettizarea k-mijlocii; pe ONNX, int8 este pe canalul de greutate.
| Format | Precizie | Dimensiunea cocoanei |
|---|---|---|
| CoreML | int8 (predictor) + FP16 (vocoder) | ~ 407 MO |
| CoreML | FP16 | ~713 MB |
| ONNX | int8 (predictor) + FP16 (vocoder) | ~286 MO |
| ONNX | FP16 | ~470 MO |
| ONNX | FP32 | ~ 939 MO |
Utilizarea CLI
# Restore audio (denoise + dereverb) to clean 48 kHz
.build/release/speech restore noisy.wav -o clean.wav
# Clean a voice-cloning reference before TTS
.build/release/speech speak "Hello world" --voice-sample ref.wav --clean-referenceSidon exemplificari 48 kHz audio indiferent de rata de intrare a eșantionului (se ridică șabloane și restabilește lățimea de bandă). Este un model de restaurare offline mai greu decât DeepFilterNet3 și este cel mai bine rulat pe un fișier mai degrabă decât pe un flux live.
Calculează amplasarea
Cele două etape funcţionează pe diferite hardware în mod implicit: predictorul pe Neural Engine și Vocoderul DAC pe GPU, în cazul în care convoluțiile sale foarte larg încarcă și să ruleze mai rapid. --compute-units pentru a fixa ambele etape ane, gpu, cpu, all; Swift API ia de asemenea predictorComputeUnits: şi vocoderComputeUnits: separat.
# Default placement: predictor on the Neural Engine, vocoder on the GPU
.build/release/speech restore noisy.wav -o clean.wav
# Pin both stages to one backend
.build/release/speech restore noisy.wav --compute-units gpu -o clean.wavModele de descărcări
| Model | Format | HuggingFace |
|---|---|---|
| Sidon (CoreML) | fp16 + int8 | aufklarer/Sidon-CoreML |
| Sidon (ONNX) | int8 + fp16 + fp32 | soniqo/Sidon-ONNX |
Combinarea cu alte modele
Sidon este cel mai util ca etapă de preprocesare:
- Înainte de clonarea vocii
- Înainte de transcriere Restaurează înregistrările arhivale sau de câmp îndepărtat pentru a îmbunătăți acuratețea ASR
- Înainte ca difuzorul să fie integrat
Swift API
import SpeechRestoration
let restorer = try await SpeechRestorer.fromPretrained()
let cleanAudio = try restorer.restore(audio: noisySamples, sampleRate: 16000)De asemenea, disponibil la Android, Linux & Windows via Speech Core (ONNX Runtime). Construit la Sidon (MIT).