Awtomatikong salin · Orihinal sa Ingles

FunctionGemma 270M

Function Gemma 270M ay isang Gemma 3 Sa halip na free-form text, ito ay naglalabas ng mahigpit na tool at function. <start_function_call>call:NAME{...}<end_function_call> balarila na ini-parse ng SDK FunctionCall Mga halaga. Sa humigit-kumulang 283 MB sa disk, ito ay maliit upang magkarga sa tabi ng isang ASR + TTS pipeline sa phone-class hardware at nagsisilbi bilang iperrouterić na gumagawa sa isang user na adminitor na nagsasabi na isang kasangkapang pang-edukasyon.

Pag-aalsa, One-Device

FunctionGemma slots to voice agents kung saan maaari mong tawagin ang isang hosted LLM para sa kagamitan wideing. Ang balarila ay mahigpit sa pamamagitan ng konstruksiyon, kaya't ikaw ay muling naka-track ng FunctionCall na mga bagay nang direkta — walang JON repair, walang schema-mode revision.

Mga Plataporma

PlatapormaPahiwatig LakiHuggingFace
Apple (macOS / iOS)CoreMLEX283 MB Aufklarer/FunctionGemma-270M-CoreML
Android (at Linux / Windows sa pamamagitan ng Speech Core)LiteRT-LMEX283 MBsoniqo/FunctionGemma-270M-LiteRT-LM

Grammar

Ang modelo ay sinasanay na maglabas ng isang tawag (o sunud - sunod na mga tawag) na nakabalot sa dalawang panandang bantay:

<start_function_call>call:set_timer{"minutes": 5, "label": "tea"}<end_function_call>

Ang mga parse ng SDK ang bawat tawag sa isang typed FunctionCall(name:, arguments:) Ang mga Argumento ay na-decorded bilang JSON upang ma-set up ang mga ito sa isang Swift Codable o Isang Kotlin @Serializable klase ng datos.

Swift (Apple, CoreML)

Sa Apple platforms FunctionGemma ay nakalantad speech-swift bilang ang FunctionGemma Nagpapabigat ito sa klase CoreML modelo mula HuggingFace sa unang paggamit at pagtakbo sa Neural Engine.

import FunctionGemma

let model = try await FunctionGemma.fromPretrained()

let tools = """
- set_timer(minutes: Int, label: String)
- get_weather(city: String)
"""

let calls = try model.callFunctions(
    tools: tools,
    userMessage: "Set a 5 minute tea timer"
)

for call in calls {
    print(call.name)       // "set_timer"
    print(call.arguments)  // ["minutes": 5, "label": "tea"]
}

Kotlin (Android, LitRT-LM)

Sa Android ang modelo ay nalalantad speech-android gaya ng audio.soniqo.speech.llm.FunctionGemma. Ito ay isang beach-yow-runtime na taga-angkop: ikaw ay nagbibigay ng isang bidyo LiteRtLmRuntime Halimbawa (ang SDK ay nagpapadala ng isang default), at FunctionGemma Hawakan ang maagap na template at balarilang parsing.

import audio.soniqo.speech.llm.FunctionGemma
import audio.soniqo.speech.llm.LiteRtLmRuntime

val runtime = LiteRtLmRuntime.fromPretrained(context)
val model = FunctionGemma(runtime)

val tools = """
- set_timer(minutes: Int, label: String)
- get_weather(city: String)
""".trimIndent()

val calls = model.callFunctions(
    tools = tools,
    userMessage = "Set a 5 minute tea timer",
)

for (call in calls) {
    println(call.name)       // "set_timer"
    println(call.arguments)  // {"minutes": 5, "label": "tea"}
}

Higit Pang Pagbabasa