Compose — Musique & production audio

Trois modules embarqués couvrent le volet musique et production audio de speech-swift, tous exécutés nativement sur Apple Silicon via MLX ou CoreML. MAGNeT génère des clips musicaux de 30 secondes à partir d'un prompt textuel. Séparation de sources (Open-Unmix) divise une piste stéréo en quatre stems (voix / batterie / basse / autres). Amélioration de la parole (DeepFilterNet3) supprime le bruit de fond de la parole en temps réel.

MAGNeT — génération de musique à partir de texte

Portage MLX Swift de MAGNeT de Meta (Masked Audio Generation with a Single Non-Autoregressive Transformer). Génère des clips de 30 s de musique mono 32 kHz à partir d'un prompt anglais libre — "happy rock", "energetic EDM with synth lead", ou un texte descriptif riche pour des résultats plus propres.

Architecture

Trois composants chargés, téléchargés au premier appel :

Décodage parallèle masqué

Contrairement à son cousin autorégressif MusicGen, MAGNeT exécute 50 passes avant au total (répartition par défaut [20, 10, 10, 10] entre les 4 codebooks) avec un re-masquage planifié en cosinus, un recuit de guidance sans classifieur, et des fenêtres d'attention locales par étape. L'étape 0 a une self-attention complète ; les étapes 1–3 utilisent une fenêtre locale |q − k| ≤ 5 car les codebooks supérieurs ne font qu'affiner les détails.

Variantes

RTF inférieur à 1,0 = plus rapide que le temps réel. La quantification déplace à peine le temps d'horloge — l'attention domine, pas les projections linéaires — donc le gain pratique d'INT4 est en mémoire plutôt qu'en latence.

Démarrage rapide

import MAGNeTMusicGen

let model = try await MAGNeTMusicGen.fromPretrained(variant: .smallInt4)
let pcm = model.generate(text: "energetic upbeat rock anthem with electric guitar riffs, driving drums, bass groove")
// pcm: [Float] length 960_000 (30 s × 32 kHz mono)

try WAVWriter.write(samples: pcm, sampleRate: 32_000,
                    to: URL(fileURLWithPath: "out.wav"))

CLI

# Default: small-int4 (~10 s on M-series for 30 s of audio)
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, ~3.5× slower
speech compose "lo-fi hip hop with mellow piano and warm vinyl crackle" \
    --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

Flags : --variant {small,medium}-{int4,int8}, --temperature (recuit, par défaut 3,0), --top-p (par défaut 0,9), --cfg-max / --cfg-min (par défaut 10,0 / 1,0), --steps "20,10,10,10" (itérations par codebook), --seed.

Paquets & licence

Les quatre paquets MLX dérivent de facebook/magnet-small-30secs et facebook/magnet-medium-30secs et héritent de la licence de Meta : CC-BY-NC 4.0 — usage non commercial uniquement. L'audio généré est soumis à la même restriction.

Séparation de sources — Open-Unmix (4 stems)

Open-Unmix HQ / UMX-L porté sur MLX. Divise un mix stéréo en quatre stems — voix, batterie, basse, autres instruments — via des prédicteurs BiLSTM par stem et un post-filtre Wiener-EM multicanal, le tout s'exécutant de bout en bout sur MLX via la STFT inverse. RTF réel ~0,031 (32× plus rapide que le temps réel) sur série M pour 30 s d'audio.

# Split mix.wav into vocals/drums/bass/other.wav next to it
speech separate mix.wav

# Or keep stems together
speech separate mix.wav --output stems/

import SourceSeparation

let separator = try await SourceSeparator.fromPretrained()
let stems = try separator.separate(audio: stereoSamples, sampleRate: 44_100)
// stems.vocals, stems.drums, stems.bass, stems.other  — each [Float]

Architecture complète, réglage et notes de benchmark dans le guide de séparation de sources.

Amélioration de la parole — DeepFilterNet3

DeepFilterNet3 sur le Neural Engine (CoreML). Supprime le bruit de fond de la parole 48 kHz en temps réel avec un modèle de 2,1M paramètres — assez petit pour s'exécuter aux côtés d'un pipeline ASR comme étape de prétraitement.

speech denoise noisy.wav -o clean.wav

import SpeechEnhancement

let enhancer = try await SpeechEnhancer.fromPretrained()
let clean = try enhancer.enhance(audio: noisy, sampleRate: 48_000)

Configuration complète dans le guide d'amélioration de la parole.

Choisir le bon outil