Maskinöversättning · Engelskt original

HTDemucs & Open-Unmix - 4-Stem Music Separation

Open-Unmix HQ delar ett stereomusikspår i fyra oberoende stjälkar - Vocals, Trummor, basoch andra andraFyra oberoende BiLSTM-modeller (en per stam) producerar magnitudmasker över blandningen STFT; en valfri Wiener-postfilter försonar dem. Körningar på Apple Silicon via MLX.

Två motorer är tillgängliga: Open-Unmix HQ (Lätt, standard) och HTDemucs (Demucs v4) en högre kvalitet Hybrid Transformer modell vald med --engine htdemucsBåda springer på Apple Silicon via via MLX och mata ut samma fyra stjälkar på 44.1 KHz.

Vad det är

• 4 stjälkar per spår — vokaler, trummor, bas, andra. Var och en är en 2-kanal 44,1 kHz stamfil.
• Magnitude-mask-modellen - varje stammodell förutspår en icke-negativ mask som appliceras på blandningsspektrogrammet; fasen tas från blandningen.
• Wiener post-filter (valfritt) - mjuk-mask raffinering över alla 4 stjälkar så att de sammanfattar koherent tillbaka till blandningen. Lägger till ~ 0,5 dB SDR.
• Små fotavtryck - 8,9M param per stam, ~ 136 MB totalt för alla 4 stammar.
• Apache-2.0 -- uppströms vikter under MIT, vår CoreML/MLX konvertering under Apache-2.0.

Arkitektur

Fyra oberoende stjälkar, varje kopia av samma nätverk:

Modell

HTDemucs (Demuc v4)

För högre separationskvalitet – särskilt på bas och trummor – fartygen också HTDemucsMeta's Hybrid Transformer Demucs. Det sammanfogar en spektrogram gren och en vågform gren genom en cross-domain transformator; den skeppade htdemucs_ft variant är en påse med fyra finjusterade undermodeller, en per stam. Vikter nedladdning från HuggingFace vid första användning. På en riktnings MUSDB-sample benchmark (museval / BSSEval v4) det genomsnitt +3.01 dB SDR över UMX-HQ, med de största vinsterna på basen (+5.75 dB).

Snabbstart - Swift

import SourceSeparation
import AudioCommon

let separator = try await SourceSeparator.fromPretrained()

let stereo = try AudioFileLoader.loadStereo(
    url: URL(fileURLWithPath: "song.wav"),
    targetSampleRate: 44100
)

let stems = separator.separate(audio: stereo, sampleRate: 44100)
// stems[.vocals], stems[.drums], stems[.bass], stems[.other]
// Each is [[Float]] — left channel, right channel.

try WAVWriter.writeStereo(
    left: stems[.vocals]![0],
    right: stems[.vocals]![1],
    sampleRate: 44100,
    to: URL(fileURLWithPath: "vocals.wav")
)

Pass wiener: true (standard) för bästa kvalitet. Pass targets: [.vocals] för att extrahera endast en delmängd av stjälkar och hoppa över de andra modellerna.

CLI

speech separate song.wav                              # all 4 stems into song_stems/ (Open-Unmix)
speech separate song.wav --engine htdemucs            # Demucs v4 — higher quality
speech separate song.wav --engine htdemucs --htdemucs-precision int8  # smaller int8 bundle
speech separate song.wav --stems vocals               # vocals only
speech separate song.wav --stems vocals,drums         # subset
speech separate song.wav --output-dir /tmp/stems/     # custom output dir
speech separate song.wav --verbose                    # show timing

När man ska använda