Awtomatikong salin · Orihinal sa Ingles

MOSS Transcribe Diarize 0.9B

MOSS Trancript Diarize 0.9B magkasamang lumilikha ng transcription text, timestamps, at hindi kilalang speaker labels. speech-swift ngayon ay nagbibigay ng isang katutubong 128K MLX runtime para sa mga mahabang recording sa tabi ng umiiral na short-form CoreML backend.

Sa Isang Kaningningan

Gamitin

Ang CoreML INT8 ay nananatiling ang competility default. Pumili ng MLX para sa streets long-context na pag-aasal; INT5 ang MLX na default.

# CoreML INT8: short-form default.
.build/release/speech transcribe recording.wav --engine moss

# MLX INT5: dynamic 128K context.
.build/release/speech transcribe meeting.wav --engine moss --backend mlx

# MLX INT8 quality reference, using the default FP16 KV cache.
.build/release/speech transcribe meeting.wav --engine moss --backend mlx --model int8

Mga Kaugnayan sa Modelo

• MLX INT5 brock
• MLX INT8 brock
• CoreML INT8 brock
• CoreML FP16 brock
• speech-swift model docs
• speech-swift CRE docs
• MLX INT5 / INT8 bankmark
• Technical report

Kung paano gumagana ang landas ng 128K

Ang regulator ay nagpoproseso pa rin ng Whisper-sized 30-second cluster. Ang runtime concaterates bawat resultang audio empending sa isang advance bago i-coding, kaya ang mga speaker labels ay maaaring gumamit ng kumpletong recording konteksto. Ang mga transcript na pattern ay pagkatapos ay lumilikha ng autoregressively; ang γsingle pasinifle pasivision ay hindi nangangahulugan ng engginite na standard.

INT5 vs INT8

INT5 ang inirerekomenda MLX default: ang dalawang talaksan ng timbang nito ay kabuuang 987.0 MiB sa halip na 1,200.1 MiB, na may kasamang 0.28- Tanggap na Ingles WER gastos at epektibong equalDER sa limang-file na hiwa na ito. Ang benchmark ay gumamit ng magkatulad na parehong platform FP16 Mga audio weight, sakim na pag - aalis ng mga gamit sa computer, at ang mga ito FP16 Mga cache ng KV.

Ang ASR conservation ay ang unang 80 English-US test clips mula sa google/fleurs. Ang mga files ng diarisasyon ay mula sa CC-BY-4.0 VoxConverse test role; ang mga ito ay hindi ang Community-1 development segment na ginagamit ng hiwalay na CoreML benchmark.

Mga Hangganan at memorya

• Ang isangudio ay kumukunsumo ng 12.5 konteksto na kumukumpas sa bawat segundo, kaya ang 90 minuto ay halos 67,500 audio token bago ang mga instruksiyon at transcription output.
• Sa audio-token na bilang na iyon, ang analogong tantiya ng KV-cache ay 7.74 GB FP16 o 4.11 GB INT8, sa harap ng mga pabigat at pansamantalang tensor.
• Ang isang mas naunang maikling-fixture check na napreserbang naka-ayos na output na may INT8 KV cache. Ang mga kasalukuyang tseke ay hindi naglalagay ng mga etiketang speaker; gumamit ng FP16 KV para sa naayos na output. INT4
• Ang modelong pasalungat sa itaas ng ilog ay nag-aangkin ng 50+ wika at hanggang sa mga 90 minuto. Ang katernong speech-swift na paghahambing ay kasalukuyang sumasaklaw sa Ingles na ASR at limang Ingles na VoxConverse recordings.
• Ang mga etiketa ng tagapagsalita ay hindi kilala sa bawat salansan at hindi laging kilala sa pagsasalita.

MLX Stache

Mula sa bigat na nagkakarga sa transcription, ang MLX ay nagtatakda sa proseso-wide reusable-buffer cache sa mas maliit na 2 GiB at 25% ng pisikal na RAM. Lower caller limits nito, kabilang ang 0 upang sirain ang caching, ay naingatan. MOSS at Qwen3-ASR

Ito ay nagtatakda sa hindi ginagamit na mga reusable liverations, hindi ang kabuuang memorya. Live KV tensors at audio data ay lumalaki pa rin na may recording street; ang mga timbang at iba pang runtime allocations ay nangangailangan ng karagdagang memorya.

Gamitin ang default FP16 KV cache para sa naka-ayos na speaker output. Kasalukuyang INT8 TV checks abut speaker calls na may parehong mga variety varieties sa orihinal at spiral runtimes; ang universe-cache na kisame ay hindi nagaayos sa hiwalay na deal na isyung ito.