Kev 深度评测：7.9k 星可自训的 Jev 类决策模型家族，Kev-27B 逼近 Jev 官方，8.9/10

📌 评测对象：jaredpalmer/kev | 星数：7,952（2026-09-30，创建约两周）| 协议：开源权重 | 出处：GitHub，Formik/Turborepo 作者 Jared Palmer 的新作

📋 项目简介

一句话定位："决策不该让生成式大模型即兴发挥——Kev 把 System 1 型类型化决策做成一族你能自己训练、自己跑的小模型。" Kev 是基于 Qwen3.5/3.8 的决策模型家族，架构来自公开的 Jev's Architecture Unmasked。API 与 TypeSafe 的 System One 完全一致：TypeSafe Python SDK 指向本地 Kev 服务器，一行不改。它是 Laya 之外又一条"非自回归决策引擎"路线，且多了最关键的一步——权重全开，让你自己训。安装部署的实操步骤可先读 Kev 教程，本文专注评测它值不值得入。

📊 八维度评分：8.9 / 10

总分：8.9 / 10

🔍 核心亮点深度拆解

1. 成绩单：Kev-27B 距 Jev 一个点，Brier 反超

"新源"= 训练时从未见过的数据集与规则，最接近你自己的业务问题。Kev-27B 在新源上与 Jev 差 1 个点，而 Brier（衡量整条概率分布的校准质量，越低越好）测试集 0.164 反超 Jev 的 0.211——意味着它的置信度更可信，自动路由的阈值更好定。项目自己也把丑话说在前面：Jev 训练集未知，这不是受控对比。

2. 一个请求，三种题型，互不串读

curl -s localhost:8009/v1/systemone -H 'content-type: application/json' -d '{
  "state": "Shoes arrived two weeks late and in the wrong size...",
  "model": "kev-latest",
  "questions": {
    "department":  {"type": "choice", "instructions": "Which team?",
                    "criteria": {"returns": "...", "shipping": "...", "billing": "..."}},
    "escalate":    {"type": "noul",  "instructions": "Urgent human needed?"},
    "frustration": {"type": "score", "instructions": "How frustrated?",
                    "criteria": ["Calm", "Frustrated", "Very angry"]}
  }}'

# Kev-4B（Apple M5 bf16）返回：495ms
# department → {choice: "returns", probabilities: {0.47/0.28/0.25}}
# escalate   → {noul: 0.93}
# frustration→ {score: 1.44, probabilities: {0.00/0.56/0.44}}

关键设计：三个问题共享同一段文本但互相看不见彼此的答案，避免题型间污染；返回概率而非硬标签，让"置信度 0.93 自动处理、0.47 送人工"这种路由策略成为一等公民。

3. 自训闭环：这是与 Laya/Jev 最大的差异

Kev 不止给权重——官方做了一个 coding-agent skill，把"找问题 → 生成训练样本 → Modal 上微调 → 部署 serving"整条链交给 agent 跑。每个 checkpoint 出厂自带在 held-out 数据上拟合的温度参数（默认即校准），微调自己的业务样本后也不用手工调温度。对有专有标注数据（客服工单、风控规则、内容审核）的团队，这是把决策模型变成私产的最短路径。

⚖️ 横向对比与适用建议

• 选 Kev：有自有标注数据、要求决策逻辑私有化、想按置信度做自动化路由的团队
• 选托管 Jev：量小、想最快验证、数据不敏感
• 两者搭配：Kev-4B 做本地预筛 + 置信度低的流量转发 Jev 复核，成本与覆盖兼得

⚠️ 不足与风险

• Kev-0.8B 新源准确率 0.648/0.697 只够"勉强可用"，别拿最小档做关键决策
• 自部署 endpoint 的鉴权与审计要自己补课，README 未展开
• Jev 家族生态两周爆发式增长，API 与工具链仍可能快速变动，跟进有维护成本

📝 评测结论

Kev 把"决策模型私有化"的门槛从"研究团队专属"拉到了"一个 repo + 一条 uv 命令"：成绩逼近官方托管版、校准质量部分反超、训练配方全公开、API 零成本迁移。数据诚实度是同赛道评测样本里的天花板——dev/test 双列、Brier 全分布、非受控声明一样不少。8.9/10：决策模型开源化的当前最优解，有标注数据的团队值得直接上手。