Strojový překlad · Anglický originál

HTDemucs & Open- Unmix - 4-Stem Music Separation

Open- Unmix HQ rozděluje stereo hudební skladbu na čtyři nezávislé stonky - vokály, bubny, okoun, a ostatní. Čtyři nezávislé modely BiLSTM (jeden na kmen) produkují masky velikosti nad směsí STFT; volitelný Wiener post- filtr je sladí. Běží na Apple Silicon přes MLX.

K dispozici jsou dva motory: Open-Unmix HQ (lehké, výchozí) a HTDemucs (Demucs v4) - vysoce kvalitní model Hybrid Transformer vybraný --engine htdemucsOba utíkejte. Apple Silicon prostřednictvím MLX a výstup stejné čtyři stonky na 44.1 kHz.

Co to je?

• 4 stonky na trati - vokály, bicí, baskytary, jiné. Každý je 2-kanál 44.1 kHz kmenový soubor.
• Model masek Magnitude- mask - každý model stonku předpovídá nenegativní masku aplikovanou na spektrogram směsi; ze směsi se odebírá fáze.
• Wiener post- filter (nepovinné) - soft- mask rafinace napříč všemi stonky 4 tak, aby součtem konzistentně zpět do směsi. Přidá ~ 0.5 dB SDR.
• Malá stopa - 8.9M params per stones, ~ 136 MB total for all 4 stones.
• Apache-2.0 - proti proti proti proti závažím pod MIT, naší konverzí CoreML / MLX podle Apache-2.0.

Architektura

Čtyři nezávislé stonky, každá kopie stejné sítě:

Vzor

HTDemucs (Demucs v4)

Pro vyšší kvalitu odloučení - zejména na basu a bubnech - balíček také lodě HTDemucs, Meta je hybridní transformátor Demucs. Sloučí spektrogram větve a waveform větve přes cross-domain transformátor; dodávané htdemucs_ft Varianta je taška se čtyřmi fine-laděnými podmodely, jeden na jeden stonek. Váhy stahují z HuggingFace při prvním použití. Na směrovém MUSDB-výběrovém měřítku (museval / BSSEval v4) je průměr + 3.01 dB nad UMX-HQ, s největším ziskem na basu (+ 5.75 dB).

Rychlý start - Swift

import SourceSeparation
import AudioCommon

let separator = try await SourceSeparator.fromPretrained()

let stereo = try AudioFileLoader.loadStereo(
    url: URL(fileURLWithPath: "song.wav"),
    targetSampleRate: 44100
)

let stems = separator.separate(audio: stereo, sampleRate: 44100)
// stems[.vocals], stems[.drums], stems[.bass], stems[.other]
// Each is [[Float]] — left channel, right channel.

try WAVWriter.writeStereo(
    left: stems[.vocals]![0],
    right: stems[.vocals]![1],
    sampleRate: 44100,
    to: URL(fileURLWithPath: "vocals.wav")
)

Projít wiener: true (přednastaveno) pro nejlepší kvalitu. Pass targets: [.vocals] extrahovat pouze podmnožinu stonků a přeskočit ostatní modely.

CLI

speech separate song.wav                              # all 4 stems into song_stems/ (Open-Unmix)
speech separate song.wav --engine htdemucs            # Demucs v4 — higher quality
speech separate song.wav --engine htdemucs --htdemucs-precision int8  # smaller int8 bundle
speech separate song.wav --stems vocals               # vocals only
speech separate song.wav --stems vocals,drums         # subset
speech separate song.wav --output-dir /tmp/stems/     # custom output dir
speech separate song.wav --verbose                    # show timing

Kdy k použití