Compose — Musik & Audioproduktion

Drei On-Device-Module decken den Musik- und Audioproduktionsbereich von speech-swift ab, alle laufen nativ auf Apple Silicon über MLX oder CoreML. MAGNeT generiert 30-Sekunden-Musikclips aus einem Text-Prompt. Quelltrennung (Open-Unmix) teilt eine Stereospur in vier Stems auf (Gesang / Drums / Bass / Sonstiges). Sprachverbesserung (DeepFilterNet3) entfernt in Echtzeit Hintergrundgeräusche aus der Sprache.

MAGNeT — Text-zu-Musik-Generierung

MLX-Swift-Port von Metas MAGNeT (Masked Audio Generation with a Single Non-Autoregressive Transformer). Generiert 30-s-Clips von 32-kHz-Mono-Musik aus einem freiformatigen englischen Prompt — "happy rock", "energetic EDM with synth lead" oder reicher beschreibender Text für sauberere Ergebnisse.

Architektur

Drei geladene Komponenten, beim ersten Aufruf heruntergeladen:

Maskierte parallele Dekodierung

Im Gegensatz zum autoregressiven Geschwister MusicGen führt MAGNeT insgesamt 50 Vorwärts-Durchläufe aus (Standardaufteilung [20, 10, 10, 10] über die 4 Codebooks) mit Cosinus-geplanter Remaskierung, Classifier-Free-Guidance-Annealing und stufenweisen lokalen Attention-Fenstern. Stufe 0 hat volle Self-Attention; Stufen 1–3 verwenden ein lokales |q − k| ≤ 5-Fenster, weil höhere Codebooks nur Details verfeinern.

Varianten

RTF unter 1,0 = schneller als Echtzeit. Quantisierung verändert die Wall-Clock kaum — Attention dominiert, nicht die linearen Projektionen — daher liegt der praktische Gewinn von INT4 im Speicher und nicht in der Latenz.

Schnellstart

import MAGNeTMusicGen

let model = try await MAGNeTMusicGen.fromPretrained(variant: .smallInt4)
let pcm = model.generate(text: "energetic upbeat rock anthem with electric guitar riffs, driving drums, bass groove")
// pcm: [Float] length 960_000 (30 s × 32 kHz mono)

try WAVWriter.write(samples: pcm, sampleRate: 32_000,
                    to: URL(fileURLWithPath: "out.wav"))

CLI

# Default: small-int4 (~10 s on M-series for 30 s of audio)
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, ~3.5× slower
speech compose "lo-fi hip hop with mellow piano and warm vinyl crackle" \
    --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

Flags: --variant {small,medium}-{int4,int8}, --temperature (annealed, Standard 3,0), --top-p (Standard 0,9), --cfg-max / --cfg-min (Standard 10,0 / 1,0), --steps "20,10,10,10" (Iterationen pro Codebook), --seed.

Bundles & Lizenz

Alle vier MLX-Bundles sind von facebook/magnet-small-30secs und facebook/magnet-medium-30secs abgeleitet und erben Metas Lizenz: CC-BY-NC 4.0 — nur nicht-kommerzielle Nutzung. Generiertes Audio unterliegt derselben Einschränkung.

Quelltrennung — Open-Unmix (4 Stems)

Open-Unmix HQ / UMX-L nach MLX portiert. Teilt einen Stereo-Mix in vier Stems auf — Gesang, Drums, Bass, weitere Instrumente — über Stem-spezifische BiLSTM-Prädiktoren und einen mehrkanaligen Wiener-EM-Nachfilter, alles End-to-End auf MLX durch die inverse STFT. Reale RTF ~0,031 (32× schneller als Echtzeit) auf M-Serie für 30 s Audio.

# Split mix.wav into vocals/drums/bass/other.wav next to it
speech separate mix.wav

# Or keep stems together
speech separate mix.wav --output stems/

import SourceSeparation

let separator = try await SourceSeparator.fromPretrained()
let stems = try separator.separate(audio: stereoSamples, sampleRate: 44_100)
// stems.vocals, stems.drums, stems.bass, stems.other  — each [Float]

Vollständige Architektur, Tuning- und Benchmark-Notizen im Quelltrennungs-Leitfaden.

Sprachverbesserung — DeepFilterNet3

DeepFilterNet3 auf der Neural Engine (CoreML). Entfernt Hintergrundgeräusche aus 48-kHz-Sprache in Echtzeit mit einem 2,1M-Parameter-Modell — klein genug, um als Vorverarbeitungsschritt neben einer ASR-Pipeline zu laufen.

speech denoise noisy.wav -o clean.wav

import SpeechEnhancement

let enhancer = try await SpeechEnhancer.fromPretrained()
let clean = try enhancer.enhance(audio: noisy, sampleRate: 48_000)

Vollständige Konfiguration im Sprachverbesserungs-Leitfaden.

Das richtige Werkzeug wählen