Tłumaczenie automatyczne · Oryginał angielski

Chatterbox Wielojęzyczny

Ta pierwsza strona Soniqo dokumenty Chatterbox Wielojęzyczne z lokalnej implementacji speech-swift / speech-core. Zestawy Hugging Face są połączone poniżej po notatkach integracyjnych.

At a Glance

Stosowanie

Poniższy fragment jest odzwierciedleniem bieżącego speech-swift API lub polecenia zdemaskowanego przez repo.

import ChatterboxTTS

let model = try await ChatterboxTTSModel.fromPretrained()
let pcm = try model.clone(
    referenceSamples: reference,
    sampleRate: 24_000,
    text: "The cloned voice now speaks a new sentence.",
    languageId: "en"
)

Wzory linków

• MLX pakiet fp16
• LiteRT pakiet
• Dokumenty speech-swift
• Nagłówek speech-core

Uwagi do wdrożenia

• Pobieranie jest podzielone pomiędzy głównym pakietem Chatterbox i oddzielnym repozytorium tokenizera S3.
• Pipeline jest T3 text- to- mowy tokens, S3Gen przepływu mel dekoder, następnie HiFi- GAN / HiFTGenerator vocoder.
• Klipy referencyjne są reseparowane do 24 kHz dla S3Gen i 16 KHz dla głośnika / urządzenia do kondycjonowania tokena.
• Ścieżka klonowania MLX i synteza standalone S3Gen wykorzystują zrównoważoną politykę pamięci: tymczasowy kapsel pamięci podręcznej up-to-512 MiB i cache oczyszcza się między etapami. Niższe budżety dzwoniących są zachowane. memoryOptions: .unrestricted pomija te kontrole generacyjne; nadal obowiązuje wspólny limit na całe życie.
• Flash Core ML klonowanie wykorzystuje MLX reference- audio enkodery do przygotowania kondycjonowania, a następnie uruchamia eksportowane wykresy T3 / S3Gen Core ML. CFG domyślnie pozostaje wyłączony, chyba że pakiet zawiera t3/NullTextPrefill.mlmodelc; publiczne 192- token audio export caps Flash reference prompts at 6 seconds so generowane mowy ma miejsce.
• Ścieżka speech-core w LiteRT wysyła domyślny głos; fp16 T3 jest zalecane dla jakości arabskiej.