Compose — Музыка и аудиопродакшен

Три модуля на устройстве охватывают сторону музыки и аудиопродакшена speech-swift, все они работают нативно на Apple Silicon через MLX или CoreML. MAGNeT генерирует 30-секундные музыкальные клипы по текстовой подсказке. Разделение источников (Open-Unmix) разделяет стерео-трек на четыре стема (вокал / ударные / бас / остальное). Улучшение речи (DeepFilterNet3) удаляет фоновый шум из речи в реальном времени.

MAGNeT — генерация музыки из текста

MLX Swift-порт MAGNeT от Meta (Masked Audio Generation with a Single Non-Autoregressive Transformer). Генерирует клипы по 30 с моно-музыки на 32 кГц из свободной английской подсказки — "happy rock", "energetic EDM with synth lead" или развёрнутого описательного текста для более чистых результатов.

Архитектура

Три загружаемых компонента, скачиваются при первом вызове:

Маскированное параллельное декодирование

В отличие от своего авторегрессивного родственника MusicGen, MAGNeT выполняет в общей сложности 50 прямых проходов (распределение по умолчанию [20, 10, 10, 10] по 4 кодбукам) с косинусным планированием ре-маскирования, отжигом classifier-free guidance и локальными окнами внимания по стадиям. Stage 0 имеет полное self-attention; stages 1–3 используют локальное окно |q − k| ≤ 5, поскольку более высокие кодбуки только уточняют детали.

Варианты

RTF ниже 1,0 = быстрее реального времени. Квантование почти не влияет на время выполнения — доминирует внимание, а не линейные проекции — поэтому практический выигрыш от INT4 — это память, а не задержка.

Быстрый старт

import MAGNeTMusicGen

let model = try await MAGNeTMusicGen.fromPretrained(variant: .smallInt4)
let pcm = model.generate(text: "energetic upbeat rock anthem with electric guitar riffs, driving drums, bass groove")
// pcm: [Float] length 960_000 (30 s × 32 kHz mono)

try WAVWriter.write(samples: pcm, sampleRate: 32_000,
                    to: URL(fileURLWithPath: "out.wav"))

CLI

# Default: small-int4 (~10 s on M-series for 30 s of audio)
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, ~3.5× slower
speech compose "lo-fi hip hop with mellow piano and warm vinyl crackle" \
    --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

Флаги: --variant {small,medium}-{int4,int8}, --temperature (с отжигом, по умолчанию 3,0), --top-p (по умолчанию 0,9), --cfg-max / --cfg-min (по умолчанию 10,0 / 1,0), --steps "20,10,10,10" (итерации на кодбук), --seed.

Пакеты и лицензия

Все четыре пакета MLX являются производными от facebook/magnet-small-30secs и facebook/magnet-medium-30secs и наследуют лицензию Meta: CC-BY-NC 4.0 — только некоммерческое использование. Сгенерированный звук подчиняется тому же ограничению.

Разделение источников — Open-Unmix (4 стема)

Open-Unmix HQ / UMX-L, портированный на MLX. Разделяет стерео-микс на четыре стема — вокал, ударные, бас, другие инструменты — через BiLSTM-предикторы на стем и многоканальный пост-фильтр Wiener-EM, всё работает end-to-end на MLX через обратное STFT. Реальный RTF ~0,031 (в 32 раза быстрее реального времени) на M-серии для 30 с аудио.

# Split mix.wav into vocals/drums/bass/other.wav next to it
speech separate mix.wav

# Or keep stems together
speech separate mix.wav --output stems/

import SourceSeparation

let separator = try await SourceSeparator.fromPretrained()
let stems = try separator.separate(audio: stereoSamples, sampleRate: 44_100)
// stems.vocals, stems.drums, stems.bass, stems.other  — each [Float]

Полная архитектура, настройка и заметки бенчмарка в руководстве по разделению источников.

Улучшение речи — DeepFilterNet3

DeepFilterNet3 на Neural Engine (CoreML). Удаляет фоновый шум из 48 кГц речи в реальном времени с моделью на 2,1M параметров — достаточно малой, чтобы работать рядом с ASR-конвейером как шаг предобработки.

speech denoise noisy.wav -o clean.wav

import SpeechEnhancement

let enhancer = try await SpeechEnhancer.fromPretrained()
let clean = try enhancer.enhance(audio: noisy, sampleRate: 48_000)

Полная конфигурация в руководстве по улучшению речи.

Выбор правильного инструмента