תרגום מכונה · המקור באנגלית

Hibiki Zero-3B תרגום דיבור (FR / ES / PT / DE)

Hibiki Zero-3B הוא Kyutai תרגום דיבור-to-speech מודל – קלט הוא 24 זרמי אודיו kHz בצרפתית, ספרדית, פורטוגלית או גרמנית; הפלט הוא AFP 24 KHz אנגלית אודיו זרם בתוספת טקסט אנגלי מקביל באותו זמן 12.5 קצב מסגרת הרץ.נבנה על Moshi/Mimi אדריכלות רב-זרםית: מהפך יחיד-קודקודד רק מודלים במשותף את זרם קודק המקור-audio ואת זרם הטקסט היעד +audio, כך שאין הפרדה. ASR MT + TTS הצינור. Soniqo בנייה ככמתה MLX מעכבי בטיחות ((INT4 ברירת מחדל, INT8 זמין לחלוטין Apple Silicon. CC-BY-4.0.

התחלה מהירה

import HibikiTranslate
import AudioCommon

let model = try await HibikiTranslateModel.fromPretrained()

let pcm = try AudioFileLoader.load(url: input, targetSampleRate: 24000)
let (englishAudio, textTokens) = model.translate(
    sourceAudio: pcm,
    sourceLanguage: .fr     // .fr / .es / .pt / .de — auto-detected but pass for the metadata
)
try WAVWriter.write(samples: englishAudio, sampleRate: 24000, to: output)

CLI C

speech audio-translate input_fr.wav -o out_en.wav --source-lang fr
speech audio-translate input_es.wav -o out_en.wav --source-lang es --quantization 8bit
speech audio-translate input_pt.wav -o out_en.wav --source-lang pt --verbose

# Deterministic mode (used by the CI regression canaries)
HIBIKI_GREEDY=1 speech audio-translate input_fr.wav -o out_en.wav --source-lang fr

# Inner-monologue text token IDs (raw — SPM decode is a follow-up)
speech audio-translate input.wav -o out.wav --transcript

ארכיטקטורה

Hibiki Zero-3B הוא 3.1B-parameter decoder-Only Multistream Transformer.המודל משתתף במשותף על פני השטח. 33 כותרת: One text Flow, 16 ספרי קוד זדוניים (התפוקה של הסוכן) 16 קוד מקור-דיו (הקלט של המשתמש) בכל אחד מהם 80 ms מסגרת המודל דוגמאות טקסט אחד בתוספת 16 קוד אודיו באמצעות קטן 6-layer Depformer זה פועל 16 sub-steps למסגרת, אחד לכל מטרה Codebook, עם 9-slice תכנן MultiLinear הקרנה.

ה- Audio Codec הוא Mimi ב 12.5 Hz / 16 codebooks. אודיו מקור מקודד לתוך ספרי קוד המקור 16 (DelayQ1QxZ). [0, 2, 2, …, 2]); אודיו היעד ממלא את 16 ספרי קוד-זרם יעד (Sameעיכוב דפוס); לכל קוד שאינו משתנה מוחל לפני Mimi פענח את המטרה חזרה 24 kHz אנגלית PCM. The temporal backbone 28 GQA שכבות (dim = 2048ראשי 16 שאילתת 8 KV ראשי kv_repeat = 2חצי מפולגת RoPE rope_concat, ללא תנאי - Zero הוא הגרסה ללא תנאי.

תגית: Loop

Hibiki פולטת SPM − קידודים (SPM)id 3(למרות שהוא מצטבר מספיק קוד הקשר כדי לתרגם, אז אסימונים טקסט תוכן עם אודיו יעד תואם, ולבסוף טקסט-EOS (id 2נהג Swift פועל עד ש- EOS מדגימה בחלון המקור, קפוץ max(tSrc × 5/2, tSrc + 20) צעדים כתנאי בטיחות. Output הם בערך 1.0-1.6XXXXZ, משך הקלט ב- FLEURS-סגנון קליפים; המתקשרים לא צריכים להניח output_duration == input_duration.

מסלול משוב אוטומטי הוא לא מזיק: בשלב t t המהפך קורא אסימונים באינדקס cache צעד צעד (הופנה מהדף 33 זרמי, עם החלפת איתונים step ≤ delays[k]); קודי היעד מדגם + 16 כתובים באינדקס 1זה מראה את הזרם Moshi lm.py היכן והיכן state.offsets += 1 זה קורה לפני התפזרות המכשף. text_emb תגית: EOSid 2(PAD) הוא קשור לשורה 3 (PAD), בזמן עומס משקל, המראה של Kyutai's loaders.py:312 "לחליף באופן קיצוני את ה- EOS עם PAD" - כל דגימה של EOS במהלך חלון הזרקור אודיו היא בלתי מזיקה, רק לאחר-מקור EOS מבטלת את הלולאה.

מודלים

שפה Coverage

Hibiki Zero-3B מאומן על צרפתית, ספרדית, פורטוגלית וגרמנית Swift אוטומטי Detects את שפת המקור; --source-lang

איכות הסביבה משתנה

ביצועים (M2 Max, MLX 4bit)

הגבלות ידועות

• translateStream() פולט נתח סופי יחיד. נקודת הכניסה הזרמה עכשיו עוטפת את הלא מקוון translate(). True per-chunk Mimi סטרימינג decode הוא v2
• No LawPiece טקסט decoder. --transcript דגל הדפסה מזהה טוקן גולמי.SPM decode wiring הוא מעקב.
• Sampled הוא ללא ספק noisier מאשר חמדן. השתמש HIBIKI_GREEDY=1 עבור ריצות מוכחות.
• המונחים: only ספינות ה-Repo Now Zero-3B 4-bit and 8-ביט; 1B ו 2B Hibiki גרסאות קיימות במגירה (models/hibiki/export/convert.py(אך נהג Swift מכוון Zero-3B's GQA+חבל_concat + non-con מותנית.

הפניות

• מסמך: High-Fidelity Simultaneous Speech-to-Speech Translation (Kyutai, 2025)
• קוד זרימה: kyutai-labs /hibiki
• דוגמאות: kyutai /hibiki-zero-samples
• רישיון: CC-BY-4.0