Maskinoversættelse · Engelsk original

Komposition - Musik & amp; Lydproduktion

Tre on- device moduler dækker musik og audioproduktion side af speech-swift, alle kører indbygget på Apple Silicon via MLX eller CoreML. MAGNET genererer 30- andet musikklip fra en tekstprompt. Kildeseparation (Open- Unmix) splitter et stereospor i fire stilke (vokal / trommer / bas / andet). Højttaleranlæg (DeepFilterNet3) fjerner baggrundsstøj fra tale i realtid.

MAGNET - text- to- music generation

MLX Swift port of Meta 's MAGNET (Mask Audio Generation med en Single Non- Autoregressive Transformer). Genererer 30 's klip af 32 kHz mono musik fra en free- form engelsk prompt - "glad rock", "energisk EDM med synth bly", eller rig beskrivende tekst til renere resultater.

Arkitektur

Tre indlæste komponenter, downloades ved første opkald:

Masket parallel afkodning

I modsætning til autoregressive søskende MusicGen, er MAGNET kører 50 fremad passerer i alt (standardopdeling [20, 10, 10, 10] på tværs af 4 kodebøger) med cosine- planlagt ommaskering, klassifier- free guidance annealing, og per- stage lokale opmærksomhed vinduer. Stage 0 har fuld selvopmærksomhed; stadier 1- 3 bruge en lokal |q − k| ≤ 5 vindue, fordi højere kodebøger kun forfine detaljer.

Varianter

RTF nedenfor 1.0 = hurtigere end real time. Kvantisering bevæger knap væg- ur - opmærksomhed dominerer, ikke de lineære fremskrivninger - så den praktiske gevinst fra INT4 er hukommelse snarere end latency.

Hurtig start

import MAGNeTMusicGen

let model = try await MAGNeTMusicGen.fromPretrained(variant: .smallInt4)
let pcm = model.generate(text: "energetic upbeat rock anthem with electric guitar riffs, driving drums, bass groove")
// pcm: [Float] length 960_000 (30 s × 32 kHz mono)

try WAVWriter.write(samples: pcm, sampleRate: 32_000,
                    to: URL(fileURLWithPath: "out.wav"))

CLI

# Default: small-int4 (~10 s on M-series for 30 s of audio)
speech compose "happy rock" -o happy_rock.wav

# Larger model — better prompt following, ~3.5× slower
speech compose "lo-fi hip hop with mellow piano and warm vinyl crackle" \
    --variant medium-int4 -o lofi.wav

# Reproducible
speech compose "energetic EDM with synth lead" --seed 42 -o edm.wav

Flag: --variant {small,medium}-{int4,int8}, --temperature (annealed, standard 3.0) --top-p (standard 0.9) --cfg-max / --cfg-min (standard 10.0 / 1.0) --steps "20,10,10,10" (per- kodebook iterationer), --seed.

Bundles & amp; - licens

Alle fire MLX bundter er afledt af facebook / magnet-small-30secs og facebook / magnet-medium-30secs og arve Metas licens: CC- BY- NC 4.0 - kun ikke-kommerciel brug. Genereret lyd har samme begrænsning.

Source separation - Open- Unmix (4 stængler)

Open- Unmix HQ / UMX- L porteret til MLX. Splitter en stereo mix i fire stængler - vokal, trommer, bas, Andre instrumenter - via per- stem BiLSTM forudsigelser og en multichannel Wiener- EM postfilter, alle kører end-to-end på MLX gennem den inverse STFT. Real- world RTF ~ 0.031 (32 × hurtigere end realtid) på M- serien for 30 s lyd.

# Split mix.wav into vocals/drums/bass/other.wav next to it
speech separate mix.wav

# Or keep stems together
speech separate mix.wav --output stems/

import SourceSeparation

let separator = try await SourceSeparator.fromPretrained()
let stems = separator.separate(audio: stereoSamples, sampleRate: 44_100)
// stems[.vocals], stems[.drums], stems[.bass], stems[.other]  — each [[Float]] (stereo)

Fuld arkitektur, tuning, og benchmark noter om Kildeseparationsguide.

Højnelse af tale - DeepFilterNet3

DeepFilterNet3 på Neural Engine (CoreML). Fjerner baggrundsstøj fra 48 kHz tale i realtid med en 2.1M- parameter model - lille nok til at køre sammen med en ASR rørledninger som et forbehandling trin.

speech denoise noisy.wav -o clean.wav

import SpeechEnhancement

let enhancer = try await SpeechEnhancer.fromPretrained()
let clean = try enhancer.enhance(audio: noisy, sampleRate: 48_000)

Fuld konfiguration på Håndbog til talegenkendelse.

Picking af det rigtige værktøj