Terjemahan mesin · Versi asli bahasa Inggris

HTDemucs & Open-Unmix - 4-Stems Pemisahan Musik

Buka-Unmix HQ memecah trek musik stereo menjadi empat batang independen - vokal, drum, bass, dan lainEmpat model BiLSTM independen (satu per batang) menghasilkan mask skala atas STFT campuran; sebuah filter postingan pilihan Wiener mendamaikan mereka. Menjalankan Apple Silicon melalui MLX.

Dua mesin tersedia: Open- Unmix HQ (ringan, default) dan HTDemucs (Demucs v4) - Model Transformer Hibrida bermutu tinggi yang dipilih dengan --engine htdemucsKeduanya berjalan di Apple Silicon via MLX dan mengeluarkan empat batang yang sama pada 44.1 kHz.

Apa ini?

• 4 batang per trek - vokal, drum, bass, lain. masing-masing adalah 2-channel 44.1 berkas batang kHz.
• Model Magnusde- mask - Setiap model batang memprediksi topeng non-negatif yang diterapkan pada spektrogram campuran; fase diambil dari campuran.
• Penyaring post- Wiener (opsional) - Soft- masker perbaikan seluruh 4 stems sehingga mereka jumlah koherently kembali ke campuran. Tambahkan ~ 0.5 dB SDR.
• Jejak kecil — 8.9M params per batang, ~136 Total MB untuk semua 4 batang.
• Apache-2.0 - Upstream bobot di bawah MIT, kita CoreML/MLX konversi di bawah Apache-2.0.

Arsitektur

Empat batang independen, masing-masing salinan dari jaringan yang sama:

Model

HTDemucs (Demucs v4)

Untuk kualitas pemisahan yang lebih tinggi - terutama pada bass dan drum - paket juga kapal HTDemucs, Meta Hybrid Transformer Demucs. Ini menggabungkan cabang spektrogram dan bentuk gelombang melalui cross- domain transformer; dikirim htdemucs_ft varian adalah sebuah kantong berisi empat halus model subset, satu per batang. Weight download dari HuggingFace pada penggunaan pertama. Pada a directional FliDB-sample benchmark (museval / BSSEval v4) itu rata-rata + 3.01 dB SDR lebih dari UMX-HQ, dengan keuntungan terbesar pada bass (+ 5.75 dB).

- Swift

import SourceSeparation
import AudioCommon

let separator = try await SourceSeparator.fromPretrained()

let stereo = try AudioFileLoader.loadStereo(
    url: URL(fileURLWithPath: "song.wav"),
    targetSampleRate: 44100
)

let stems = separator.separate(audio: stereo, sampleRate: 44100)
// stems[.vocals], stems[.drums], stems[.bass], stems[.other]
// Each is [[Float]] — left channel, right channel.

try WAVWriter.writeStereo(
    left: stems[.vocals]![0],
    right: stems[.vocals]![1],
    sampleRate: 44100,
    to: URL(fileURLWithPath: "vocals.wav")
)

Pass wiener: true (baku) untuk kualitas terbaik. Pass targets: [.vocals] untuk mengekstrak hanya subset batang dan melewatkan model lainnya.

CLI

speech separate song.wav                              # all 4 stems into song_stems/ (Open-Unmix)
speech separate song.wav --engine htdemucs            # Demucs v4 — higher quality
speech separate song.wav --engine htdemucs --htdemucs-precision int8  # smaller int8 bundle
speech separate song.wav --stems vocals               # vocals only
speech separate song.wav --stems vocals,drums         # subset
speech separate song.wav --output-dir /tmp/stems/     # custom output dir
speech separate song.wav --verbose                    # show timing

Kapan akan digunakan