Strojový překlad · Anglický originál

Obnova řeči - Sidon

Obnovit hlučný, reverberant, nebo band- limited řeč k čistotě 48 kHz audio s Sidon - jeden model kombinující denoizaci, dereverberaci a rozšíření šířky pásma. Spouští zcela on- zařízení (CoreML na Apple Silicon, ONNX Runtime jinde). Protože rekonstruuje řeč z naučených reprezentací, spíše než jen maskování hluku, je to zejména dobré při přípravě reference hlasového klonování: Čistí nahrávání při zachování identity řečníka.

Kdy použít Sidon vs. DeepFilterNet3

Vylepšení řeči (DeepFilterNet3) je malinkatý, skutečný čas tlumič hluku. Sidon je těžší generativní obnova model: odstraňuje také rezonanci a rebuduje vysokofrekvenční detail na 48 kHz. Pro odstranění živého hluku použijte DeepFilterNet3, Sidon pro offline čištění referencí a archivních nahrávek.

Architektura

Sidon je dvoustupňový plynovod: prediktor funkce s dohledem nad sebou očišťuje reprezentaci řeči a z něj recykluje nervový vokodér.

FázePodrobnosti
Front- endw2v-BERT 2.0 SeamlessM4T funkce log- mel (16 kHz → 160- Dim)
Prediktorw2v-BERT 2.0 (vrstvy 8) s LODA- finaturovanou čistou hlavou → očištěné funkce
VokodérDAC dekodér resynthetizuje 48 kHz audio z očištěných funkcí

Potrubí je 16 kHz audio → features → predictor → DAC decoder → 48 kHz audio. Total Kliente 246M parametry (193.6M prediktor + 52.4M vokoder).

Zpracování potrubí

  1. extrakce vlastností - Vypočítejte funkce w2v-BERT 2.0 log-mel ze vstupu 16 kHz (Acelerát / vDSP na Apple, C++ na jiných platformách)
  2. Prediktor - LoRA- adaptováno w2v-BERT enkodér mapy hlučné / reverberant funkce pro čištění
  3. Vokodér - DAC dekodér rekonstruuje čistou vlnovou formu 48 kHz z očištěných funkcí
  4. Chunking - Delší audio je zpracováván v pevných oknech (~ 10 s) a šitý na časové ose 48 kHz

Kvalita

Na reverberantním referenčním klipu obnova zvedne vnímání kvality při zachování identity reproduktoru neporušené (nereferenční MOS):

AudioDNSMOS OVRLUTMOSŘečník cosinus
Vstup (reverberant)2.902.99—
Sidon obnoveno3.293.400.79

Největší zisk je v pozadí skóre (reverberace odstraněny). Řečnická podobnost je zachována, což je důležité při čištění klonování reference.

Vzor Variantů

Kvantifikace stlačuje prediktor; převodník DAC zůstává na vyšší přesnosti (kvalita zvuku). int8 používá k- znamená palettizaci; on ONNX, int8 je váhový - pouze per- kanál.

FormátPřesnostVelikost poutka
CoreMLint8 (prediktor) + FP16~ 407 MB
CoreMLFP16~ 713 MB
ONNXint8 (prediktor) + FP16~ 286 MB
ONNXFP16~ 470 MB
ONNXFP32~ 939 MB

Použití CLI

# Restore audio (denoise + dereverb) to clean 48 kHz
.build/release/speech restore noisy.wav -o clean.wav

# Clean a voice-cloning reference before TTS
.build/release/speech speak "Hello world" --voice-sample ref.wav --clean-reference
Důležité

Sidon výstupy 48 kHz audio bez ohledu na rychlost vstupního vzorku (nahrává a obnovuje šířku pásma). Jedná se o offline restaurační model - těžší než DeepFilterNet3 - a je nejlepší spustit na souboru, spíše než živý proud.

Vypočítejte umístění

Dvě etapy běží na různých hardware ve výchozím nastavení: prediktor na Neural Engine a DAC vokodér na GPU, kde jeho velmi široké konvoluce načíst a běžet nejrychleji. Použít --compute-units na obou etapách ane, gpu, cpu, all; Swift API také bere predictorComputeUnits: a vocoderComputeUnits: odděleně.

# Default placement: predictor on the Neural Engine, vocoder on the GPU
.build/release/speech restore noisy.wav -o clean.wav

# Pin both stages to one backend
.build/release/speech restore noisy.wav --compute-units gpu -o clean.wav

Stáhnout model

VzorFormátHuggingFace
Sidon (CoreML)fp16 + int8aufklarer / Sidon- CoreML
Sidon (ONNX)int8 + fp16 + fp32soniqo / Sidon- ONNX

Kombinace s jinými modely

Sidon je nejužitečnější jako krok předzpracování:

Swift API

import SpeechRestoration

let restorer = try await SpeechRestorer.fromPretrained()
let cleanAudio = try restorer.restore(audio: noisySamples, sampleRate: 16000)

Také k dispozici na Android, Linux & Windows prostřednictvím jádra řeči (ONNX Runtime). Postaven na Sidon (MIT).