Traduzione automatica · Originale inglese

Chatterbox multilingue

Questo primo partito Soniqo documenti pagina Chatterbox Poliglotta dal locale speech-swift / speech-core implementazione. Hugging Face i fasci sono collegati di seguito dopo le note di integrazione.

Pagina iniziale

Le carte di atterraggio e i menu Docs ora puntano qui prima; il modello di sorgente e i link di fascio rimangono disponibili da questa pagina.

In un solco

Modello	Chatterbox multilingue
Role	Voce a scatto multilingue TTS
Indietro	MLX fp16 su Apple; LiteRT default-voice runtime in Speech Core
Produzione	24 kHz monoforma d'onda
Lingue	23 lingue
Licenza	MIT
Stato	MLX clonazione runtime; LiteRT greedy/default-voice runtime per le distribuzioni dei bordi
Fonte	Resemble AI Chatterbox
Prodotto Swift	`ChatterboxTTS`
CLI / runtime	Programmatico speech-swift runtime; LiteRT Esempio CLI in speech-core

Uso

Lo snippet seguente rispecchia l'attuale speech-swift API o comando esposto dal repo.

import ChatterboxTTS

let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
    referenceSamples: reference,
    sampleRate: 24_000,
    text: "The cloned voice now speaks a new sentence.",
    languageId: "en"
)

Link di modello

Note di attuazione

Il download è diviso tra il principale Chatterbox bundle e il repository di tokenizer S3 separato.
La pipelina è T3 token di testo-to-speech, S3Gen flusso mel decoder, poi HiFi-GAN / HiFTGenerator vocoder.
Le clip di riferimento sono rivendute a 24 kHz per S3Gen e 16 kHz per il condizionamento di altoparlanti/token.
Il percorso clone MLX e la sintesi standalone S3Gen utilizzano una politica di memoria equilibrata: un tappo di cache up-to-512 MiB temporaneo e le sgomberazioni della cache tra le fasi. memoryOptions: .unrestricted saltare quei controlli di generazione; il cappello modello-vita comune si applica ancora.
Flash Core ML clonazione utilizza encoder di riferimento MLX per preparare il condizionamento, quindi esegue i grafici T3/S3Gen Core ML esportati. CFG rimane spento di default a meno che il bundle non include t3/NullTextPrefill.mlmodelc; il pubblico 192-token tappi di esportazione audio I prompt dei riferimenti Flash a 6 secondi così generato discorso ha spazio.
speech-coreE'... LiteRT percorso spedisce una voce predefinita; fp16 T3 è consigliato per la qualità araba.