Awtomatikong salin · Orihinal sa Ingles

Speech Server

curl http://localhost:8080/v1/audio/speech \
  -H 'Content-Type: application/json' \
  -d '{"model":"pocket-tts","voice":"alba","input":"Hello world.","response_format":"pcm","stream":true}' \
  -o hello.pcm

speech-server ay isang lokal na HTTP + WebSocket server na naglalantad sa bawat Soniqo model sa pamamagitan ng isang simpleng REST API, at isang pantelebisyon na pang-XZ OpenAI Realtime API-compatible WebSocket sa /v1/realtime. Ito ay barko sa parehong boteng Homebrew na katulad ng boteng ZAXZ speech CLI — brew install speech ay kapuwa nakalagay sa iyong KATOTOHANAN.

Iluklok at patakbuhin

brew install speech

speech-server --port 8080
# Starting server on http://127.0.0.1:8080
# Endpoints:
#   POST /transcribe  - Speech-to-text (WAV body or JSON with audio_base64)
#   POST /speak       - Text-to-speech (JSON: {text, engine?, language?})
#   POST /respond     - Speech-to-speech (WAV body, voice/max_steps via query)
#   POST /enhance     - Speech enhancement (WAV body)
#   GET  /health      - Health check
#   WS   /v1/realtime - OpenAI Realtime API (JSON events, base64 PCM16 audio)

Mga bandilang kondado-line

Ang mga modelo ay na-download sa unang gamit at cached sa ~/Library/Caches/qwen3-speech/. Ang unang kahilingan para sa isang ibinigay na modelo ay nagbabayad sa download + load na halaga (30 s – 2 mi – depende sa modelong sukat); ang mga kasunod na kahilingan ay mainit.

REST endpoints

POST /transcribe — Talasalitaang-to-ext

Tinatanggap ang alinman sa hilaw na WAV na katawan o isang sobreng JON na may base64-encoded audio.

# WAV body (preferred — lower overhead)
curl -X POST http://127.0.0.1:8080/transcribe \
  -H "Content-Type: audio/wav" \
  --data-binary @recording.wav

# JSON with base64
curl -X POST http://127.0.0.1:8080/transcribe \
  -H "Content-Type: application/json" \
  -d '{"audio_base64":"'"$(base64 -i recording.wav)"'","language":"en"}'

Sagot: {"text": "…", "language": "en", "confidence": 0.93}.

POST /speak — Text-to-speech

curl -X POST http://127.0.0.1:8080/speak \
  -H "Content-Type: application/json" \
  -d '{"text":"Hello, world!","engine":"kokoro","language":"en"}' \
  --output hello.wav

Ang tugong katawan ay isang WAV blob. Suportadong engine value: qwen3 (default), cosyvoice, kokoro.

POST /respond — Pananalita-to-speech

curl -X POST "http://127.0.0.1:8080/respond?voice=en_female_calm&max_steps=256" \
  -H "Content-Type: audio/wav" \
  --data-binary @question.wav \
  --output answer.wav

Runs PersonaPlex 7B — pagsasalita sa, pagsasalita sa. Transcript ay ibinalik bilang isang X-Response-Text header. Tingnan ang PersonaPlex para sa mga pangalan ng boses preset.

POST /enhance — Pagpapaganda sa Pagsasalita

curl -X POST http://127.0.0.1:8080/enhance \
  -H "Content-Type: audio/wav" \
  --data-binary @noisy.wav \
  --output clean.wav

DeepFilterNet3 sa 48 kHz. Ang Iniput ay muling tinatampukan kung kinakailangan.

GET /health — Liveness probe

curl http://127.0.0.1:8080/health
# {"status":"ok"}

Naghihintay ang HTTP at realtime WebSocket tests /health upang ibalik ang HTTP 200 kasama ang {"status":"ok"}, na may 10-second startup deadline. Ang mga pagkakamali sa startup ay nabibigo sa test settup, at ang breakdown ay naghihintay ng servation bago muling gamitin ang port nito.

WebSocket: /v1/realtime

Ang drop-in ay tumutugma sa OpenAI Realtime API — ang pangyayari ring iyon na JSON na schema (skema)session.update, input_audio_buffer.append, response.create, response.audio.delta, ...) kasama base64-encoded PCM16 audio sa 24 Mga Client na isinulat laban sa mga kHz. OpenAI'Tunay na Panahon ' SDK tutol speech-server walang mga pagbabagong kodigo (iba lamang ang WebSocket URL).

Awtomatikong lumiko sa server VAD

Manual input_audio_buffer.commit ay nananatiling default. session.turn_detection hanggang sa server_vad Upang patakbuhin ang Silero VAD sa server at awtomatikong i-record ang bawat nakumpletong pag-ikot ng pagsasalita. fix audio ay pinananatili, ang mga walang trabahong neutraling ay nananatiling nakatali, at ang isang patuloy na aktibong pag-iikot ay pwersa-malapit sa nakaayos na sukdulan.

ws.send(JSON.stringify({
  type: "session.update",
  session: {
    turn_detection: {
      type: "server_vad",
      threshold: 0.5,
      prefix_padding_ms: 300,
      silence_duration_ms: 500,
      max_turn_duration_ms: 120000
    }
  }
}));

// Event order for each detected turn:
// input_audio_buffer.speech_started
// input_audio_buffer.speech_stopped
// input_audio_buffer.committed
// conversation.item.input_audio_transcription.completed

// Set turn_detection to null (or { type: "none" }) for manual commits.

JavaScript halimbawa

const ws = new WebSocket("ws://127.0.0.1:8080/v1/realtime");

ws.onopen = () => {
  ws.send(JSON.stringify({
    type: "session.update",
    session: { modalities: ["audio", "text"] }
  }));

  // Stream PCM16 mono 24kHz audio from the mic:
  const audioBase64 = await capturePCM16Chunk();
  ws.send(JSON.stringify({
    type: "input_audio_buffer.append",
    audio: audioBase64
  }));

  ws.send(JSON.stringify({ type: "response.create" }));
};

ws.onmessage = ev => {
  const msg = JSON.parse(ev.data);
  if (msg.type === "response.audio.delta") {
    playPCM16Base64(msg.delta);
  }
};

Halimbawang Python

import asyncio, base64, json, wave, websockets

async def main():
    async with websockets.connect("ws://127.0.0.1:8080/v1/realtime") as ws:
        await ws.send(json.dumps({"type": "session.update",
                                  "session": {"modalities": ["audio", "text"]}}))

        with wave.open("question.wav", "rb") as wav:
            pcm16 = wav.readframes(wav.getnframes())
        await ws.send(json.dumps({"type": "input_audio_buffer.append",
                                  "audio": base64.b64encode(pcm16).decode()}))
        await ws.send(json.dumps({"type": "response.create"}))

        async for raw in ws:
            msg = json.loads(raw)
            if msg["type"] == "response.audio.delta":
                open("answer.pcm", "ab").write(base64.b64decode(msg["delta"]))
            elif msg["type"] == "response.done":
                break

asyncio.run(main())

Mga nota ng pag - aalis ng tubig

• Walang anuko sa pamamagitan ng default. speech-server Ibig sabihin, 127.0.0.1 Ilagay sa likod ng isang reverse proxy (Caddy, nginx, buntot) kung ilalantad mo ito nang lampas pa sa lokal nahost.
• Ang mga modelo ay tamad-based. Unang kahilingan /transcribe ay nagreresulta sa ASR na nag-download ng + load (°700 MB, 30–60 s). --preload para sa sero malamig-bituin ngunit mas mabagal na boot.
• Wala pang umaagos na transcription. POST /transcribe Inaasahan ang ganap na WAV pataas sa harap. /v1/realtime para sa pagdagsa.
• Pinatakbo / inilunsad. Walang mga barkong pangserbisyo sa ngayon. nohup speech-server & o ang iyong karaniwang superbisor ng proseso ay nagtatrabaho.

Pinagmumulan

• Mga Pinagmumulan/Nagpapasimula ng Audio — Hummingbird-based HTTP storyr, tamad model register, /v1/realtime WebSocket handler.
• Mga Pinagmumulan/Audio PederacerCLI — @main entry point, argument parser.
• Itaas: OpenAI Realtime API reference.

speech-server --inference-manifest models.json --port 8080

{
  "runtimeRevision": "your-source-revision",
  "gemmaDirectory": "/models/gemma4-e4b-it-int4",
  "voxDirectory": "/models/voxcpm2-unquantized",
  "whisperDirectory": "/models/whisper-large-v3-coreml",
  "vadDirectory": "/models/silero-vad-coreml"
}