Compose — Música & produção de áudio

Três módulos no dispositivo cobrem o lado de música e produção de áudio do speech-swift, todos executando nativamente em Apple Silicon via MLX ou CoreML. MAGNeT gera clipes de música de 30 segundos a partir de um prompt de texto. Separação de fontes (Open-Unmix) divide uma faixa estéreo em quatro stems (vocais / bateria / baixo / outros). Aprimoramento de voz (DeepFilterNet3) remove ruído de fundo da fala em tempo real.

MAGNeT — geração de música a partir de texto

Port MLX Swift do MAGNeT da Meta (Masked Audio Generation with a Single Non-Autoregressive Transformer). Gera clipes de 30 s de música mono a 32 kHz a partir de um prompt em inglês de forma livre — "happy rock", "energetic EDM with synth lead", ou texto descritivo rico para resultados mais limpos.

Arquitetura

Três componentes carregados, baixados na primeira chamada:

Decodificação paralela mascarada

Ao contrário de seu parente autorregressivo MusicGen, MAGNeT executa 50 passagens diretas no total (divisão padrão [20, 10, 10, 10] entre os 4 codebooks) com re-mascaramento programado por cosseno, recozimento de orientação sem classificador e janelas de atenção locais por estágio. O estágio 0 tem self-attention completa; estágios 1–3 usam uma janela local |q − k| ≤ 5 porque codebooks superiores apenas refinam detalhes.

Variantes

RTF abaixo de 1,0 = mais rápido que o tempo real. A quantização mal move o wall-clock — a atenção domina, não as projeções lineares — então o ganho prático do INT4 é em memória e não em latência.

Início rápido

import MAGNeTMusicGen

let model = try await MAGNeTMusicGen.fromPretrained(variant: .smallInt4)
let pcm = model.generate(text: "energetic upbeat rock anthem with electric guitar riffs, driving drums, bass groove")
// pcm: [Float] length 960_000 (30 s × 32 kHz mono)

try WAVWriter.write(samples: pcm, sampleRate: 32_000,
                    to: URL(fileURLWithPath: "out.wav"))

CLI

# Default: small-int4 (~10 s on M-series for 30 s of audio)
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, ~3.5× slower
speech compose "lo-fi hip hop with mellow piano and warm vinyl crackle" \
    --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

Flags: --variant {small,medium}-{int4,int8}, --temperature (recozida, padrão 3,0), --top-p (padrão 0,9), --cfg-max / --cfg-min (padrão 10,0 / 1,0), --steps "20,10,10,10" (iterações por codebook), --seed.

Pacotes & licença

Todos os quatro pacotes MLX derivam de facebook/magnet-small-30secs e facebook/magnet-medium-30secs e herdam a licença da Meta: CC-BY-NC 4.0 — apenas uso não comercial. O áudio gerado carrega a mesma restrição.

Separação de fontes — Open-Unmix (4 stems)

Open-Unmix HQ / UMX-L portado para MLX. Divide uma mixagem estéreo em quatro stems — vocais, bateria, baixo, outros instrumentos — via preditores BiLSTM por stem e um pós-filtro Wiener-EM multicanal, todos executando de ponta a ponta em MLX através da STFT inversa. RTF real ~0,031 (32× mais rápido que o tempo real) em série M para 30 s de áudio.

# Split mix.wav into vocals/drums/bass/other.wav next to it
speech separate mix.wav

# Or keep stems together
speech separate mix.wav --output stems/

import SourceSeparation

let separator = try await SourceSeparator.fromPretrained()
let stems = try separator.separate(audio: stereoSamples, sampleRate: 44_100)
// stems.vocals, stems.drums, stems.bass, stems.other  — each [Float]

Arquitetura completa, ajuste e notas de benchmark no guia de separação de fontes.

Aprimoramento de voz — DeepFilterNet3

DeepFilterNet3 no Neural Engine (CoreML). Remove ruído de fundo da fala a 48 kHz em tempo real com um modelo de 2,1M parâmetros — pequeno o suficiente para rodar junto a um pipeline ASR como etapa de pré-processamento.

speech denoise noisy.wav -o clean.wav

import SpeechEnhancement

let enhancer = try await SpeechEnhancer.fromPretrained()
let clean = try enhancer.enhance(audio: noisy, sampleRate: 48_000)

Configuração completa no guia de aprimoramento de voz.

Escolhendo a ferramenta certa