תרגום מכונה · המקור באנגלית
Fish Audio S2 Pro/דרמה 3
דף Soniqo של צד ראשון זה מתעד את Fish Audio S2 Pro מה- speech-swift / speech-core יישום Hugging Face חבילות מקושרות מתחת להערות האינטגרציה.
כרטיסי נחיתה ותפריטי docs מצביעים כאן קודם; מודל מקור וקישורי החבילה נותרים זמינים מהעמוד הזה.
ב-Glance
| מודל מודל | Fish Audio S2 Pro |
|---|---|
| תפקידים | Multilingual TTS עם שיבוטים בכבדות וסימני סגנון |
| חזרה | MLX fp16 |
| Output | 44.1 kHz מונו PCM |
| שפות | Multilingual |
| רישיון רישיון רישיון | מחקר / לא מסחרי חבילה; קבל Fish Audio רישיון לחשיפה מסחרית |
| סטטוס | זמן ריצה תוכניתי; אינטגרציה CLI עדיין מתקרבת |
| מקור Source | Fish Audio S2 Pro |
| Swift מוצר | FishAudioTTS |
| CLI / Runtime | היום, דיבור מתוכנן מדבר --engine דגים-audio |
שימוש בשימוש
החטיפה מתחת למראות את speech-swift API או פקודה שנחשפו על ידי ה-Repo.
import FishAudioTTS
let model = try await FishAudioTTSModel.fromPretrained()
let pcm = try await model.generate(
text: "आज मैं बहुत खुश हूँ। [excited]",
referenceAudioURL: URL(fileURLWithPath: "reference.wav"),
referenceText: "नमस्ते, यह संदर्भ आवाज है।"
)מודל קישורים
הערות יישום
- הורד משתמש בקובץ החדש יותר מפורש על ידי te-משקל, כך שההתקדמות משקפת את הטורפים האמיתיים המועברים על פני ה- Multi-GB.
- [ה], [ב], [ה]], [לֹה] [ה] [לֹא], [ו], [מִנָּעָה], [שִׁי], ו[בְהַהַּהְתָּעָשִׁבְּׁבְהִׁבְרָה].
- זמן הריצה יוצר 10 שורות של DAC Codebook, ולאחר מכן קודים שנוצרו או הפניה ספרים קודים מותנים באמצעות FishAudiocodec.
- בדיקות נוכחיות מכסות טעינה, דור CodeBook, Codec encode/decode, Hindi Cloing ו ASR שערי עגולות.
Fish Audio דרמה 3
תמיכה ניסיונית MLX לדרמה 3 זמינה דרך FishAudioDrama3ModelA 35B Hybrid-attention MoE backbone, מגדל אודיו זמני ו- Fish DAC Codec לייצר 44.1 אודיו מונו הרץ 4מחסוםביט עבר גלפור ועצמאי ASR בדיקות עבור דור טקסט בלבד, הפנה משובץ ו- CLI פלט על Apple M5 Pro. 8-bit and BF16 נשאר בלתי חוקי.
ברירת המחדל balanced מצב trims idle MLX buffers מעל 512 MiB בגבולות שלב.הכובע המשותף ב-Fache-Time cache חל גם, שמירה על תקציבי שיחות נמוכים יותר; לא שליטה מגבילה את זיכרון התהליך הכולל. --fish-drama3-memory-mode unrestricted או או memoryOptions: .unrestricted עומס משקולות בלהיטות ומלג על שלב שלישיט, תוך שמירה על מכסה החיים.
דור טקסט בלבד מפרש 794.4 MiB של משקל קודר.המונח הראשון נטען ושומר אותם, כך לשמור codec.safetensors זמין עד אז.computed קודים לא צריך את הקידוד.
לספק טקסט מלא קלט. Voice Cloing דורש וידאו הפניה ואת תמליל המדויק שלה תגים 0-15 ורגשות פנימיים נתמכות. generateStreaming, generateStream ו --streamברירת המחדל מכילה 3 מסגרות קודק, על 139 ms של אודיו.לחתוך טקסט מהיר וזרימה קלט טקסט נשאר בלתי זמין.
speech speak "Hello from Drama 3." --engine fish-drama3 --fish-drama3-bundle-dir /path/to/bundle -o hello.wav
speech speak "Hello from Drama 3." --engine fish-drama3 --stream --fish-drama3-chunk-frames 3 -o streamed.wav
speech speak "Hello in the reference voice." --engine fish-drama3 --voice-sample reference.wav --fish-drama3-reference-text "The exact reference transcript." --seed 42 -o cloned.wavimport FishAudioTTS
let model = try await FishAudioDrama3Model.fromBundle(bundleURL, memoryOptions: .balanced)
let pcm = try await model.generate(text: "Hello from Drama 3.", options: .init(seed: 42))
try await model.generateStreaming(text: "Hello from Drama 3.", options: .init(seed: 42, streamingChunkFrames: 3)) { chunk in
print(chunk.frameIndex, chunk.samples.count, chunk.isFinal)
}| אפשרות | Default |
|---|---|
--fish-drama3-model-id | mlx-community/fish-audio-drama-3-4bit |
--fish-drama3-bundle-dir | — |
--fish-drama3-reference-text | — |
--fish-drama3-max-frames | 2048 |
--fish-drama3-temperature | 1 |
--fish-drama3-top-k | 30 |
--fish-drama3-top-p | 0.9 |
--voice-sample | — |
--seed | 0 |
--stream | false |
--fish-drama3-chunk-frames | 3 |
--fish-drama3-memory-mode | balanced |
נבנה עם Fish Audio. Bundles לשמור על רישיון הקהילה ו הערה.
4bit ציון
| מצב Mode | PCM הראשון, ms | סינתזה חמה, | אודיו, | RTF | שיא RSS, GiB | טביעת רגל פיזית גבוהה, GiB |
|---|---|---|---|---|---|---|
| טקסט בלבד / Buffered | — | 2.306 | 3.483 | 0.662 | 14.457 | 24.220 |
| תגית: Buffered | — | 2.681 | 3.204 | 0.837 | 15.064 | 24.789 |
| טקסט בלבד / סטרימינג | 275.3 | 2.529 | 3.483 | 0.726 | 15.571 | 22.321 |
| תגית: סטרימינג | 730.2 | 2.860 | 3.204 | 0.893 | 14.676 | 23.885 |
Apple Apple M5 Pro, 48 GiB, שוחרר, 2026-10-17• מדיה של שלוש שיחות חמות, מדידת דור גלפור שלם. WAV קובץ I/O אינם נכללים; השיבוט כולל התייחסות לכל שיחה. RTF זמן סינתזה / אודיו משך זמן עצמאי ASR: 16/16 קליפים, אפס שגיאות מילה. השתמש טביעת רגל פיזית עבור פיזור חד פעמי.מחשב הראשון הוא הראשון Nompty הזרמת callback; buffered שורות אין מצורף. 139.3 מ"ס של אודיו.אודיבל נגן לאחור" לא נמדד.