Maskinöversättning · Engelskt original

LocalVQE v1.4-AEC

Denna första part Soniqo siddokument LocalVQE v1.4-AEC från den lokala speech-swift implementering. Hugging Face buntar är länkade nedan efter integrationsnoterna.

Intern sida först

Landningskort och docs-menyer pekar nu här först; källmodell och buntlänkar förblir tillgängliga från denna sida.

På en Glance

Modell	LocalVQE v1.4-AEC
Rollen	Explicit-referens akustisk eko avbokning
Backend	Native C++ adaptivt filter plus statligt Core ML residual mask
Output	16 kHz mono Float32 ren-mikrofon PCM
Språk	Språkoberoende akustisk bearbetning
Licens	Apache-2.0 kod och vikter
Status	Streaming och komplett klipp speech-swift runtime
Källa	LocalVQE
Swift produkt	`SpeechEnhancement`
CLI / runtime	Programmatisk LocalVQEEEchoCanceller runtime

Användning

Nyckeln nedan speglar den nuvarande speech-swift API eller kommandot exponerat av repan.

import SpeechEnhancement

let aec = try await LocalVQEEchoCanceller.fromPretrained()
let cleanMicrophone = try aec.processFrame(
    microphone: microphoneFrame,
    reference: playbackReferenceFrame
)

Modelllänkar

Implementeringsmeddelanden

Mikrofon och uppspelningsreferens är separata, synkroniserade ingångar; ett blandat system-audio-transkript är inte en giltig referens.
Streaming accepterar exakt 256 monoprover per ingång vid 16 kHz och lägger till en 16 ms spektral hopp av algoritmisk latens.
Varje ram dränerar tillfälliga Core ML buffertar innan du återvänder, så långvariga infångstrådar avtar inte macOS s IOSurface-gräns.
Återställ efter droppade ramar, enhetsförändringar, fånga omstarter eller inspelningsgränser så stalfilter och neurala tillstånd kan inte korsa avbrott.
En tyst referens bevarar mikrofon-bara tal; runtime faller aldrig tillbaka för att subtrahera en mix eller muting mikrofonen.
Inte blint kaskad denna väg med Apple Voice Processing I / O eftersom två adaptiva avbokare kan förvränga närstående tal.