Konekäännös · Englanninkielinen alkuperäinen
Puheen palauttaminen ... Sidon
Palauta meluisa, reverberant tai bändirajoitteinen puhe puhtaaksi 48 kHz ääni Sidon ....yksittäinen malli, jossa yhdistyvät denoising, dereverberation ja kaistanleveyden laajennus. Se toimii täysin päällä (CoreML on Apple Silicon, ONNX Runtime muualla. Koska se rekonstruoi puhe opituista esityksistä sen sijaan, että se peittäisi melua, se on erityisen hyvä valmistaa Voine-cloning-viite : se puhdistaa tallennteen säilyttäen samalla puhujan identiteetin.
Puheenparannus (DeepFilterNet3) on pikkuruinen, tosiaikainen melunvaimennus. Sidon on painavampi Regeneroiva ennallistaminen Malli: se poistaa myös jälkikäsittelyn ja rakentaa uudelleen korkean taajuuden yksityiskohdat 48 kHz. Käytä DeepFilterNet3 elävän melun poistoon, Sidon offline puhdistus referenssit ja arkistotallenteet.
Arkkitehtuuri
Sidon on kaksivaiheinen putki: itsevalvottu ominaisuusennustuslaite puhdistaa puheen esittämisen ja hermoäänittimen uudelleensyntetisoida puhtaan aaltomuodon siitä.
| Vaihe | Yksityiskohdat |
|---|---|
| Etupää | w2v-BERT 2,0 SeamlessM4T log-mel ominaisuudet (16 kHz → 160-dim) |
| Ennuste | w2v-BERT 2.0 (8 kerrosta), jossa on LOA-hienosti viritetty puhdistuspää → puhdistettuja ominaisuuksia |
| Vocoder | DAC dekooderi resynthesizes 48 kHz ääni puhdistettuja ominaisuuksia |
Putkisto on 16 kHz audio → features → predictor → DAC decoder → 48 kHz audio. Yhteensä 246M parametreja (193,6M ennustaja + 52.4M vocoder).
Jalostusputkisto
- Ominaisuuden uutto Laske w2v-BERT 2.0:n log-mel-ominaisuudet 16 kHz:n syötöstä (Accelerate/vDSP Applella, C++ muilla alustoilla)
- Ennuste LoRA-sovitettu w2v-BERT-kooderikartat meluisia/koodaavia ominaisuuksia puhtaille
- Vocoder ... DAC-dekooderi rekonstruoi puhtaan 48 kHz:n aaltomuodon puhtaista ominaisuuksista
- Palanleikkuu Pidempi ääni käsitellään kiinteissä ikkunoissa (~10 s) ja ommeltu 48 kHz aikajanalla
Laatu
Restaurointi parantaa näkökykyä pitämällä kaiuttimen tunnisteet koskemattomina (ei viite-MOS):
| Ääni | DNSMOS ORL | UTMOS | Kaiukaijakosiini |
|---|---|---|---|
| Syöttö (reverberant) | 2.90 | 2.99 | — |
| Sidon palautettu | 3.29 | 3.40 | 0.79 |
Suurin voitto on taustapistemäärässä (reverberation removed). Puhujan samankaltaisuus säilyy, mikä on tärkeintä kloonauksen yhteydessä.
Mallivaihtoehdot
Kvantitalisaatio tiivistää ennustajan; DAC:n vocoder pysyy tarkempana (audiolaatu). Applella int8 käyttää k-keskiarvoa paletisaatiossa; ONNX, int8 on painoltaan vain kanavaa kohden.
| Muoto | Tarkkuus | Syöttökoosta |
|---|---|---|
| CoreML | int8 (ennakaattori) + FP16 (vokooderi) | ~407 Mt |
| CoreML | FP16 | ~ 713 Mt |
| ONNX | int8 (ennakaattori) + FP16 (vokooderi) | ~286 MB |
| ONNX | FP16 | ~470 Mt |
| ONNX | FP32 | ~ 939 Mt |
CLI-käyttö
# Restore audio (denoise + dereverb) to clean 48 kHz
.build/release/speech restore noisy.wav -o clean.wav
# Clean a voice-cloning reference before TTS
.build/release/speech speak "Hello world" --voice-sample ref.wav --clean-referenceSidon lähdöt 48 kHz ääni riippumatta syötenäytteen nopeus (se nostaa näytteitä ja palauttaa kaistanleveyden). Se on offline restaurointi malli . ... painavampi kuin DeepFilterNet3 .
Laske paikka
Kaksi vaihetta toimivat oletuksena eri laitteistoilla: ennustaja Neural Engine ja DAC vocoder GPU, jossa sen erittäin laaja convolutions kuorma ja ajaa nopeimmin. --compute-units Kiinnittää molemmat vaiheet ane, gpu, cpu, all; Swift API ottaa myös predictorComputeUnits: sekä vocoderComputeUnits: erikseen.
# Default placement: predictor on the Neural Engine, vocoder on the GPU
.build/release/speech restore noisy.wav -o clean.wav
# Pin both stages to one backend
.build/release/speech restore noisy.wav --compute-units gpu -o clean.wavMallilataukset
| Malli | Muoto | HuggingFace |
|---|---|---|
| Sidon (CoreML) | fp16 + int8 | aufklarer/sidon-CoreML |
| Sidon (ONNX) | int8 + fp16 + fp32 | soniqo/Sidon-ONNX |
Yhdistäminen muiden mallien kanssa
Sidon on hyödyllisin esikäsittelyvaihe:
- Ennen äänen kloonausta Puhdista meluinen / referenssi niin klooni perii äänen, ei huone
- Ennen transkriptiota ... Palauta arkistointi tai etätallenteet parantaaksesi ASR tarkkuutta
- Ennen kaiutinta Puhdistaja tuottaa luotettavampia upotuksia
Swift API
import SpeechRestoration
let restorer = try await SpeechRestorer.fromPretrained()
let cleanAudio = try restorer.restore(audio: noisySamples, sampleRate: 16000)Saatavana myös Android, Linux & Windows via Speech Core (ONNX Runtime) . Rakennettu Sidon (MIT).