การแยกแหล่งเสียง

Open-Unmix HQ แยกแทร็กเพลงสเตอริโอออกเป็นสี่ stem ที่เป็นอิสระต่อกัน — vocals, drums, bass และ other โมเดล BiLSTM อิสระสี่ตัว (หนึ่งตัวต่อหนึ่ง stem) สร้างมาสก์ขนาดบน STFT ของส่วนผสม; Wiener post-filter ที่เป็นทางเลือกจะช่วยปรับให้สอดคล้องกัน ทำงานบน Apple Silicon ผ่าน MLX

มันคืออะไร

• 4 stem ต่อแทร็ก — vocals, drums, bass, other แต่ละ stem เป็นไฟล์ 2 channel ที่ 44.1 kHz
• โมเดลมาสก์ขนาด — โมเดลแต่ละ stem ทำนายมาสก์แบบไม่ติดลบที่ใช้กับสเปกโตรแกรมของส่วนผสม; phase นำมาจากส่วนผสม
• Wiener post-filter (ทางเลือก) — ปรับปรุงมาสก์แบบนิ่มๆ ทั้ง 4 stem เพื่อให้รวมกลับเข้าเป็นส่วนผสมได้อย่างสอดคล้องกัน เพิ่ม SDR ~0.5 dB
• ขนาดเล็ก — 8.9M พารามิเตอร์ต่อ stem รวมทั้งหมด ~136 MB สำหรับทั้ง 4 stem
• Apache-2.0 — น้ำหนักต้นน้ำใช้ MIT, การแปลง CoreML/MLX ของเราใช้ Apache-2.0

สถาปัตยกรรม

สี่ stem อิสระ แต่ละตัวเป็นสำเนาของโครงข่ายเดียวกัน

โมเดล

เริ่มต้นอย่างรวดเร็ว — Swift

import SourceSeparation
import AudioCommon

let separator = try await SourceSeparator.fromPretrained()

let stereo = try AudioFileLoader.loadStereo(
    url: URL(fileURLWithPath: "song.wav"),
    targetSampleRate: 44100
)

let stems = separator.separate(audio: stereo, sampleRate: 44100)
// stems[.vocals], stems[.drums], stems[.bass], stems[.other]
// Each is [[Float]] — left channel, right channel.

try WAVWriter.writeStereo(
    left: stems[.vocals]![0],
    right: stems[.vocals]![1],
    sampleRate: 44100,
    to: URL(fileURLWithPath: "vocals.wav")
)

ส่งผ่าน wiener: true (ค่าเริ่มต้น) เพื่อคุณภาพที่ดีที่สุด ส่งผ่าน targets: [.vocals] เพื่อแยกเฉพาะ stem ชุดย่อยและข้ามโมเดลอื่นๆ

CLI

speech separate song.wav                              # all 4 stems into song_stems/
speech separate song.wav --stems vocals               # vocals only
speech separate song.wav --stems vocals,drums         # subset
speech separate song.wav --output-dir /tmp/stems/     # custom output dir
speech separate song.wav --verbose                    # show timing

เมื่อใดที่ควรใช้