Awtomatikong salin · Orihinal sa Ingles

Pagbabalik ng Pagsasalita — Sidon

Ibalik ang maingay, reverberant, o band-limited na pananalita upang linisin 48 kHz pakikipag - usap sa iba Sidon – isang iisang modelo na nagsasama ng denoising, dereverberation, at bandwidth extension.Ito ay tumatakbo ng ganap na on-device (CoreML sa Apple Silicon, ONNX Runtime saanman).Dahil ito ay muling nag-record ng pagsasalita mula sa mga pinag-aaralang representasyon sa halip na basta maskara lamang ang ingay, ito ay lalong mainam sa paghahanda ng isang ZXQVQ2QexZ). reference sa boses-cloning: nililinis nito ang rekording habang iniingatan ang pagkakakilanlan ng tagapagsalita.

Arkitektura

Sidon ay isang dalawang-stage pipeline: isang self-supervised na tampok ang naglilinis sa representasyon ng pagsasalita, at ang isang neural vovocoder resynthesize isang malinis na waveform mula rito.

Ang tubo ay 16 kHz audio → features → predictor → DAC decoder → 48 kHz audio. Kabuuang iTV 246M parameter (193.6M divisionor + 52.4M vocoder).

Pagpoproseso ng Pipeline

1. Pag - aalis ng mga Katangian — Pag - isipan ang mga Bagay - bagay w2v-BERT 2.0 log-mel tampok mula sa 16 KHz input (Accelerate/vDSP on Apple, C++ sa ibang plataporma)
2. Hula — Ang LoRA-adapted w2v-BERT Regulator ay nagmapa ng maiingay/reberant na mga tampok sa paglilinis ng mga ito
3. Bocoder — Muling binuo ng DC decoder ang isang malinis na 48 kHz waveform mula sa nilinis na mga bahagi
4. Pagtitinda — Ang mas mahabang audio ay pinoproseso sa nakapirmeng mga bintana (iT10 s) at tinatahi sa 48 kHz na timeline

Katangian

Sa isang reverberant reference clip, ang revival ay nag-aangat ng perceptual na katangian habang pinananatili ang speaker identity na buo (walang-reference MOS):

Ang pinakamalaking pakinabang ay nasa background score (inalis ang reverberation).Ang speaker na pagkakatulad ay napreserba, na siyang mahalaga kapag naglilinis ng isang reference sa cloning.

Modelong mga Variante

Ang Quantization ay kumompisyon sa propesyunal; ang DACvocoder ay nananatili sa mas mataas na prekwensiya (isang kalidad ngudio). int8 gumagamit ng k-posed paletization; on ONNX, int8 ay weight-ly per-channel.

Paggamit ng CLI

# Restore audio (denoise + dereverb) to clean 48 kHz
.build/release/speech restore noisy.wav -o clean.wav

# Clean a voice-cloning reference before TTS
.build/release/speech speak "Hello world" --voice-sample ref.wav --clean-reference

Mahalagang Lugar

Ang dalawang yugto ay tumatakbo sa iba't ibang hardware sa pamamagitan ng default: ang tagapaghula sa tagahula Neural Engine at ang vocoder ng DAC GPU, kung saan ang napakalawak na convolutions nito ay nagkarga at tumatakbo nang pinakamabilis. --compute-units upang i - pink ang dalawang yugto ane, gpu, cpu, all; kinukuha rin ng Swift API predictorComputeUnits: at vocoderComputeUnits: Isahan.

# Default placement: predictor on the Neural Engine, vocoder on the GPU
.build/release/speech restore noisy.wav -o clean.wav

# Pin both stages to one backend
.build/release/speech restore noisy.wav --compute-units gpu -o clean.wav

Modelong mga Pagpapababa ng Pabigat

Kasama ng Iba Pang mga Modelo

Sidon ay lubhang kapaki - pakinabang bilang isang hakbang bago ang pagproseso:

• Bago mag - clone ng tinig — Linisin ang maingay/maingay na reperensiya kaya naman minana ng clone ang tinig, hindi ang silid
• Bago ang Pagsalin — Ibalik sa dati ang mga rekording ng archivation o far-field upang sumulong ASR katumpakan
• Bago magsalita ay mag - eembbed — Ang mas malinis na audio ay nagbibigay ng mas maaasahang mga kagamitan

Swift API

import SpeechRestoration

let restorer = try await SpeechRestorer.fromPretrained()
let cleanAudio = try restorer.restore(audio: noisySamples, sampleRate: 16000)

Makukuha rin ito sa Android, Linux & Windows sa pamamagitan ng Speech Core (ONNX Runtime). Itinayo sa Sidon (MIT).