Compose — Müzik ve ses üretimi

Cihaz üzerinde çalışan üç modül, speech-swift'in müzik ve ses üretimi tarafını kapsar; hepsi MLX ya da CoreML aracılığıyla Apple Silicon üzerinde yerel olarak çalışır. MAGNeT, bir metin isteminden 30 saniyelik müzik klipleri üretir. Kaynak ayırma (Open-Unmix), stereo bir parçayı dört stem'e (vocals / drums / bass / other) böler. Konuşma iyileştirme (DeepFilterNet3) ise konuşmadan arka plan gürültüsünü gerçek zamanlı olarak temizler.

MAGNeT — metinden müzik üretimi

Meta'nın MAGNeT (Masked Audio Generation with a Single Non-Autoregressive Transformer) modelinin MLX Swift portu. Serbest formdaki İngilizce bir prompttan 32 kHz mono 30 saniyelik klipler üretir — "happy rock", "energetic EDM with synth lead" ya da daha temiz sonuçlar için zengin tanımlayıcı metinler kullanılabilir.

Mimari

İlk çağrıda indirilen ve yüklenen üç bileşen:

Maskeli paralel kod çözme

Otoregresif kardeşi MusicGen'in aksine, MAGNeT toplam 50 ileri geçiş yürütür (4 codebook arasında varsayılan bölünme [20, 10, 10, 10]); kosinüs çizelgeli yeniden maskeleme, classifier-free guidance tavlanması ve aşama bazlı yerel attention pencereleri kullanır. 0. aşamada tam self-attention vardır; 1–3. aşamalar |q − k| ≤ 5 yerel penceresi kullanır; çünkü daha yüksek codebook'lar yalnızca ayrıntıları rafine eder.

Varyantlar

RTF 1.0'ın altı = gerçek zamandan hızlı. Niceleştirme wall-clock'u neredeyse değiştirmez — baskın olan attention'dır, lineer projeksiyonlar değil — dolayısıyla INT4'ün pratik kazancı gecikme değil bellektir.

Hızlı başlangıç

import MAGNeTMusicGen

let model = try await MAGNeTMusicGen.fromPretrained(variant: .smallInt4)
let pcm = model.generate(text: "energetic upbeat rock anthem with electric guitar riffs, driving drums, bass groove")
// pcm: [Float] length 960_000 (30 s × 32 kHz mono)

try WAVWriter.write(samples: pcm, sampleRate: 32_000,
                    to: URL(fileURLWithPath: "out.wav"))

CLI

# Default: small-int4 (~10 s on M-series for 30 s of audio)
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, ~3.5× slower
speech compose "lo-fi hip hop with mellow piano and warm vinyl crackle" \
    --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

Bayraklar: --variant {small,medium}-{int4,int8}, --temperature (tavlanmış, varsayılan 3.0), --top-p (varsayılan 0.9), --cfg-max / --cfg-min (varsayılan 10.0 / 1.0), --steps "20,10,10,10" (codebook başına yineleme sayısı), --seed.

Paketler ve lisans

Dört MLX paketinin tümü facebook/magnet-small-30secs ve facebook/magnet-medium-30secs'den türetilmiştir ve Meta'nın lisansını miras alır: CC-BY-NC 4.0 — yalnızca ticari olmayan kullanım. Üretilen ses de aynı kısıtlamaya tabidir.

Kaynak ayırma — Open-Unmix (4 stem)

MLX'e port edilmiş Open-Unmix HQ / UMX-L. Bir stereo karışımı dört stem'e ayırır — vocals, drums, bass, diğer enstrümanlar — stem başına BiLSTM tahmin edicileri ve çok kanallı Wiener-EM son filtresiyle, hepsi MLX üzerinde ters STFT'ye kadar uçtan uca çalışır. M-serisi üzerinde 30 sn ses için gerçek dünya RTF'si ~0.031 (gerçek zamandan 32× hızlı).

# Split mix.wav into vocals/drums/bass/other.wav next to it
speech separate mix.wav

# Or keep stems together
speech separate mix.wav --output stems/

import SourceSeparation

let separator = try await SourceSeparator.fromPretrained()
let stems = try separator.separate(audio: stereoSamples, sampleRate: 44_100)
// stems.vocals, stems.drums, stems.bass, stems.other  — each [Float]

Mimari, ince ayar ve benchmark notlarının tamamı için Kaynak ayırma kılavuzuna bakın.

Konuşma iyileştirme — DeepFilterNet3

Neural Engine (CoreML) üzerinde çalışan DeepFilterNet3. 2,1M parametreli bir modelle 48 kHz konuşmadan arka plan gürültüsünü gerçek zamanlı temizler — bir ASR pipeline'ının yanında ön işleme adımı olarak çalıştırılabilecek kadar küçüktür.

speech denoise noisy.wav -o clean.wav

import SpeechEnhancement

let enhancer = try await SpeechEnhancer.fromPretrained()
let clean = try enhancer.enhance(audio: noisy, sampleRate: 48_000)

Tam yapılandırma için Konuşma iyileştirme kılavuzuna bakın.

Doğru aracı seçmek