Maskinoversættelse · Engelsk original

HTDemucs & Open- Unmix - 4- Stam- musikadskillelse

Open- Unmix HQ deler et stereomusikspor i fire uafhængige stængler - vokal, trommer, bas, og andet. Fire uafhængige BiLSTM modeller (en per stamme) producerer størrelse masker over blandingen STFT; en valgfri Wiener postfilter forener dem. Kører på Apple Silicon via MLX.

Der er to motorer til rådighed: Open- Mix HQ (letvægts, standard) og HTDemucs (Demucs v4) - en højere kvalitet Hybrid Transformer model udvalgt med --engine htdemucsBegge løb på Apple Silicon via MLX og output de samme fire stængler ved 44.1 kHz.

Hvad er det?

• 4 stængler pr. spor - vokal, trommer, bas, andet. Hver er en 2- kanal 44.1 kHz stamfil.
• Magnitude- maske model - hver stammodel forudser en ikke-negativ maske, der anvendes på blandingen spektrogram; fase er taget fra blandingen.
• Wiener postfilter (valgfri) - soft- maske raffinement på tværs af alle 4 stængler, så de summen sammenhængende tilbage til blandingen. Tilfører ~ 0.5 dB SDR.
• Lille fodaftryk - 8.9M params per stamme, ~ 136 MB i alt for alle 4 stængler.
• Apache-2.0 - opstrøms vægte under MIT, vores CoreML/MLX omregning i henhold til Apache-2.0.

Arkitektur

Fire uafhængige stængler, hver en kopi af det samme netværk:

Model

HTDemucs (Demucs v4)

For højere separationskvalitet - især på bas og trommer - leveres pakken også HTDemucs, Meta 's Hybrid Transformer Demucs. Det smelter en spektrogram gren og en waveform gren gennem en cross-domæne transformer; den afsendt htdemucs_ft variant er en pose med fire fine- tunede sub- modeller, en per stængel. Vægt download fra HuggingFace ved første brug. På en retningsbestemt MUSDB- prøve benchmark (musikal / BSSEval v4) det gennemsnit + 3.01 dB SDR over UMX- HQ, med de største gevinster på bas (+ 5.75 dB).

Hurtig start - Swift

import SourceSeparation
import AudioCommon

let separator = try await SourceSeparator.fromPretrained()

let stereo = try AudioFileLoader.loadStereo(
    url: URL(fileURLWithPath: "song.wav"),
    targetSampleRate: 44100
)

let stems = separator.separate(audio: stereo, sampleRate: 44100)
// stems[.vocals], stems[.drums], stems[.bass], stems[.other]
// Each is [[Float]] — left channel, right channel.

try WAVWriter.writeStereo(
    left: stems[.vocals]![0],
    right: stems[.vocals]![1],
    sampleRate: 44100,
    to: URL(fileURLWithPath: "vocals.wav")
)

Pass wiener: true (standard) for bedste kvalitet. targets: [.vocals] kun at udtrække en delmængde af stængler og springe de andre modeller over.

CLI

speech separate song.wav                              # all 4 stems into song_stems/ (Open-Unmix)
speech separate song.wav --engine htdemucs            # Demucs v4 — higher quality
speech separate song.wav --engine htdemucs --htdemucs-precision int8  # smaller int8 bundle
speech separate song.wav --stems vocals               # vocals only
speech separate song.wav --stems vocals,drums         # subset
speech separate song.wav --output-dir /tmp/stems/     # custom output dir
speech separate song.wav --verbose                    # show timing

Hvornår skal du bruge