Terjemahan mesin · Versi asli bahasa Inggris

MOSS Translate Diarize 0.9B

MOSS Diarize Terjemahkan 0.9B bersama menghasilkan teks transkrip, penanda waktu, dan label speaker anonim. speech-swift sekarang menyediakan asli 128K MLX waktu-lama untuk rekaman panjang bersama bentuk-pendek yang ada CoreML Backend.

Pada sebuah Glance

Gunakan

CoreML INT8 tetap menjadi standar kompatibilitas. Pilih MLX untuk perilaku upstream long-context; INT5 adalah baku MLX.

# CoreML INT8: short-form default.
.build/release/speech transcribe recording.wav --engine moss

# MLX INT5: dynamic 128K context.
.build/release/speech transcribe meeting.wav --engine moss --backend mlx

# MLX INT8 quality reference, using the default FP16 KV cache.
.build/release/speech transcribe meeting.wav --engine moss --backend mlx --model int8

Taut Model

• MLX INT5 bundle
• MLX INT8 bundle
• CoreML INT8 bundle
• CoreML FP16 bundle
• speech-swift docs model
• speech-swift dokumen inferensi
• MLX INT5 / INT8 benchmark
• Laporan Teknis

Bagaimana cara kerja jalur 128K

Enkoder masih proses Pengatur potongan 30 detik. Waktu berjalan menghubungkan setiap pengadukan audio menjadi satu prompt sebelum decoding, sehingga label speaker dapat menggunakan konteks rekaman lengkap. Token transkrip kemudian dihasilkan secara autoregreatly; "single pass" tidak berarti generasi simultan.

INT5 vs INT8

INT5 adalah disarankan MLX baku: total dua berkas berat badan 987.0 MiB bukan 1,200.1 MiB, dengan 0.28-point Bahasa Inggris WER biaya dan efektif sama dengan DER pada potongan lima berkas ini. Benchmark digunakan identik FP16 bobot audio, decoding serakah, dan FP16 KV cache.

The ASR fixture adalah yang pertama 80 Inggris-AS test klip dari google / fleursBerkas diarisasinya berasal dari CC-BY-4.0 Cermin tes VoxConverse; mereka bukan irisan pengembangan Community-1 yang digunakan oleh benchmark CoreML terpisah.

Batas dan memori

• Audio mengkonsumsi 12.5 context token per detik, jadi 90 minutes adalah sekitar 67.500 token audio sebelum instruksi dan transkrip keluaran.
• Pada jumlah audio- token, perkiraan analisis KV- cache adalah 7.74 GB FP16 atau 4.11 GB INT8, sebelum bobot dan tensor sementara.
• Pemeriksaan awal yang singkat dengan keluaran terstruktur dengan INT8 KV cache. Pemeriksaan saat ini kehilangan label speaker; gunakan FP16 KO untuk keluaran terstruktur. INT4 cache menjatuhkan penanda waktu dan mengulang kata pada gerbang kualitas sebelumnya, sehingga tidak terkena.
• Model upstream klaim 50+ bahasa dan sampai ke sekitar 90 Menit, cocok. speech-swift perbandingan saat ini meliputi bahasa Inggris ASR dan lima rekaman VoxConverse Inggris.
• Speaker label tidak dikenal dalam setiap berkas dan tidak persisten identitas speaker.

Singgahan penyangga MLX

Dari beban berat melalui transkripsi, MLX batasi proces- wide reusabble-buffer cache ke yang lebih kecil dari 2 GiB dan 25% fisik RAMBatas penelepon bawah, termasuk 0 untuk menonaktifkan caching, diawetkan. MOSS dan Qwen3-ASR bagi anggaran ini; melepaskan model akhir mengembalikan batas sebelumnya penelepon kecuali penelepon mengubahnya selama digunakan.

Batas penyangga yang tidak digunakan, bukan memori total. Data langsung KV dan audio masih tumbuh dengan panjang rekaman; bobot dan alokasi waktu-jalan lainnya memerlukan memori tambahan.

Gunakan baku FP16 KV cache untuk keluaran speaker terstruktur. Saat ini INT8 KV cek abaikan label speaker dengan kedua variasi berat pada asli dan capped runtimes; langit-langit buffer- cache tidak memperbaiki masalah kualitas terpisah ini.