Compose — الموسيقى وإنتاج الصوت

ثلاث وحدات تعمل على الجهاز تغطّي جانب الموسيقى وإنتاج الصوت في speech-swift، وكلّها تعمل أصلًا على Apple Silicon عبر MLX أو CoreML. MAGNeT يولّد مقاطع موسيقية مدّتها 30 ثانية انطلاقًا من موجّه نصّي. فصل المصادر (Open-Unmix) يقسّم مساراً ستيريو إلى أربعة stems (الأصوات / الإيقاع / الباس / الباقي). تحسين الكلام (DeepFilterNet3) يزيل ضوضاء الخلفية من الكلام في الزمن الحقيقي.

MAGNeT — توليد الموسيقى من النص

نقل إلى MLX Swift لنموذج MAGNeT من Meta (Masked Audio Generation with a Single Non-Autoregressive Transformer). يولّد مقاطع مدّتها 30 ثانية من موسيقى أحادية بمعدّل 32 kHz انطلاقًا من موجّه إنجليزي حرّ — مثل "happy rock" أو "energetic EDM with synth lead"، أو نصّ وصفيّ غنيّ للحصول على نتائج أنظف.

البنية

ثلاثة مكوّنات يجري تحميلها عند أوّل استدعاء:

فكّ ترميز متوازٍ مُقنَّع

على عكس شقيقه الانحداريّ MusicGen، يُجري MAGNeT 50 تمريرة أماميّة إجمالًا (التقسيم الافتراضي [20, 10, 10, 10] عبر الـ 4 codebooks) مع إعادة تقنيع مجدولة بدالّة جيب التمام، وتهدئة لتوجيه دون مصنّف، ونوافذ انتباه محليّة لكلّ مرحلة. تستخدم المرحلة 0 self-attention كاملًا، بينما تستعمل المراحل 1–3 نافذة محليّة |q − k| ≤ 5 لأنّ الـ codebooks الأعلى تكتفي بصقل التفاصيل.

المتغيّرات

RTF أقلّ من 1.0 يعني أسرع من الزمن الحقيقي. التكميم بالكاد يغيّر الزمن الفعليّ — الانتباه هو المهيمن، لا الإسقاطات الخطّية — لذا فإنّ المكسب العمليّ من INT4 يأتي من توفير الذاكرة لا من خفض الكُمون.

بداية سريعة

import MAGNeTMusicGen

let model = try await MAGNeTMusicGen.fromPretrained(variant: .smallInt4)
let pcm = model.generate(text: "energetic upbeat rock anthem with electric guitar riffs, driving drums, bass groove")
// pcm: [Float] length 960_000 (30 s × 32 kHz mono)

try WAVWriter.write(samples: pcm, sampleRate: 32_000,
                    to: URL(fileURLWithPath: "out.wav"))

CLI

# Default: small-int4 (~10 s on M-series for 30 s of audio)
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, ~3.5× slower
speech compose "lo-fi hip hop with mellow piano and warm vinyl crackle" \
    --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

الرايات: --variant {small,medium}-{int4,int8}، --temperature (مهدّأة، افتراضيًا 3.0)، --top-p (افتراضيًا 0.9)، --cfg-max / --cfg-min (افتراضيًا 10.0 / 1.0)، --steps "20,10,10,10" (التكرارات لكلّ codebook)، --seed.

الحزم والترخيص

تستند حزم MLX الأربع جميعها إلى facebook/magnet-small-30secs وfacebook/magnet-medium-30secs وترث ترخيص Meta: CC-BY-NC 4.0 — للاستخدام غير التجاري فقط. ويسري القيد نفسه على الصوت المُولَّد.

فصل المصادر — Open-Unmix (4 stems)

Open-Unmix HQ / UMX-L منقول إلى MLX. يقسّم مزيجاً ستيريو إلى أربعة stems — الأصوات، الإيقاع، الباس، باقي الآلات — عبر متنبّئات BiLSTM لكلّ stem ومرشّح Wiener-EM متعدّد القنوات بعد المعالجة، وكلّ ذلك يعمل من البداية إلى النهاية على MLX عبر STFT العكسيّ. RTF في الظروف الحقيقية ~0.031 (أسرع من الزمن الحقيقي بـ 32×) على سلسلة M لـ 30 ثانية من الصوت.

# Split mix.wav into vocals/drums/bass/other.wav next to it
speech separate mix.wav

# Or keep stems together
speech separate mix.wav --output stems/

import SourceSeparation

let separator = try await SourceSeparator.fromPretrained()
let stems = try separator.separate(audio: stereoSamples, sampleRate: 44_100)
// stems.vocals, stems.drums, stems.bass, stems.other  — each [Float]

البنية الكاملة، والضبط، وملاحظات قياس الأداء في دليل فصل المصادر.

تحسين الكلام — DeepFilterNet3

DeepFilterNet3 على Neural Engine (CoreML). يزيل ضوضاء الخلفية من الكلام بمعدّل 48 kHz في الزمن الحقيقي بنموذج بـ 2.1M معامل — صغير بما يكفي للعمل إلى جانب خطّ ASR كخطوة معالجة مسبقة.

speech denoise noisy.wav -o clean.wav

import SpeechEnhancement

let enhancer = try await SpeechEnhancer.fromPretrained()
let clean = try enhancer.enhance(audio: noisy, sampleRate: 48_000)

الإعدادات الكاملة في دليل تحسين الكلام.

اختيار الأداة المناسبة