Traducere automată · Originalul în engleză

HTDemucs & Deschis- unmix 4-Stem Muzica separare

Open-Unmix HQ împarte o piesă de muzică stereo în patru tulpini independente voce, tobe, BassCity in Germany, și altele. Patru modele independente BiLSTM (unul per tulpină) produc măști de magnitudine peste amestecul STFT; un postfiltru Wiener opțional le reconciliază. Rulează pe Apple Silicon prin MLX.

Sunt disponibile două motoare: Open-Unmix HQ (greutate ușoară, implicit) și HTDemucs (Demucs v4) Un model Hibrid Transformer de calitate superioară selectat cu --engine htdemucs Ambele rulați pe Apple Silicon prin MLX și de ieșire aceleași patru tulpini la 44.1 kHz.

Ce este?

• Tulpini de 4 pe linie Fiecare este un fişier stem 2-canal 44.1 kHz.
• Model Mask de dimensiune
• După filtrul Wiener (opțional) Soft-mask rafinament pe toate tulpinile 4 astfel încât acestea să se rezume coerent înapoi la amestec. Adăugați ~0.5 dB .
• Amprentă mică 8.9M params per stem, ~136 MB total pentru toate tulpinile 4.
• Apache-2.0 În cazul în care nu se utilizează metoda de calcul, se utilizează o metodă de calcul pentru a calcula valoarea medie ponderată a expunerii. MIT, nostru CoreML/MLX Conversia în Apache-2.0.

Arhitectură

Patru tulpini independente, fiecare o copie a aceleiași rețele:

Model

HTDemucs (Demucuri v4)

Pentru o calitate mai mare a separării HTDemucs, Meta's Hybrid Transformer Demucs. Acesta unește o ramură spectrogramă și o ramură de undă printr-un transformator cross-domeniu; expediate htdemucs_ft varianta este o pungă de patru submodele fin tunate, unul pe stem. Greutate descărcare de la HuggingFace pe prima utilizare. Pe un reper direcție MUSDB-eșantion (museval / BSSEval v4) se mediează +3.01 dB DST peste UMX-HQ, cu cele mai mari câștiguri la bass (+5.75 dB).

Start rapid Swift

import SourceSeparation
import AudioCommon

let separator = try await SourceSeparator.fromPretrained()

let stereo = try AudioFileLoader.loadStereo(
    url: URL(fileURLWithPath: "song.wav"),
    targetSampleRate: 44100
)

let stems = separator.separate(audio: stereo, sampleRate: 44100)
// stems[.vocals], stems[.drums], stems[.bass], stems[.other]
// Each is [[Float]] — left channel, right channel.

try WAVWriter.writeStereo(
    left: stems[.vocals]![0],
    right: stems[.vocals]![1],
    sampleRate: 44100,
    to: URL(fileURLWithPath: "vocals.wav")
)

Pasează wiener: true (default) pentru cea mai bună calitate. Pass targets: [.vocals] pentru a extrage doar un subset de tulpini și sări peste celelalte modele.

CLI

speech separate song.wav                              # all 4 stems into song_stems/ (Open-Unmix)
speech separate song.wav --engine htdemucs            # Demucs v4 — higher quality
speech separate song.wav --engine htdemucs --htdemucs-precision int8  # smaller int8 bundle
speech separate song.wav --stems vocals               # vocals only
speech separate song.wav --stems vocals,drums         # subset
speech separate song.wav --output-dir /tmp/stems/     # custom output dir
speech separate song.wav --verbose                    # show timing

Când să utilizaţi