📌 项目：NandhaKishorM/laya | 星数：11.5k（Python，Apache-2.0）| 日期：2026-09-22 | 来源：GitHub | Trending详情
Laya（11.5k星，Apache-2.0，Python）是类型化决策模型框架，用小模型做路由、分类、判断等短决策任务，推理仅7-14ms。它不是通用LLM，而是专门为Agent架构中的"决策点"设计——用类型系统约束输入输出，保证决策可审计。配合 Nimble本地AI决策引擎 可构建完整的本地决策流水线。
| 特性 | 说明 |
|---|---|
| 类型化输入输出 | 决策模型输入输出用类型系统约束，编译时检查，运行时可审计 |
| 7-14ms短决策 | 专门优化短决策场景，不生成文本只输出结构化结果 |
| MLX+ONNX双运行时 | 支持Apple MLX和ONNX，覆盖Mac/CPU/GPU |
| Agent决策点 | 为Agent架构中的路由/分类/判断设计，非通用对话 |
| 可组合 | 多个决策模型可串联，构建复杂决策流 |
# 安装
pip install laya-models
# 基础用法
from laya import DecisionModel
model = DecisionModel.load("router-v1")
result = model.decide(query="用户想退款", context={...})
# result 是类型化输出，非自由文本大模型生成自由文本，Laya只做类型化短决策（路由/分类/判断），更快更便宜更可审计。
Apple MLX（7-14ms）和ONNX（跨平台），选择取决于硬件。
Agent路由、意图分类、安全判断、阈值决策等不需要生成长文本的场景。