Jeff 教程:0.8B 小模型给 27B 当守门员,快 38 倍还准 9 个点

📌 项目地址:github.com/firelex/jeff | 星数:1.3k+ | 版本:v1.2 社区预览(2026-10-01,v1.3 LTS 约 36 小时后发布)| adapter 生态:jeffhub.ai

📋 项目简介

「让大模型回答一切」正在被一种更聪明的架构取代:快慢双脑。Jeff 是一个 0.8B 的开源 System 1 决策模型,站在 Qwen3.8-27B 这类强模型前面当守门员——简单判断它先答(毫秒级),没把握才升级给 27B。官方 8 个 adapter 实测:**准确率 86.6% → 95.3%、单次决策 8.1s → 0.25s(快 38 倍)**,且所有数字的原始结果文件全部开源。Jev 决策模型家族的入门与训练见 Kev训练教程,同类引擎见 Laya深度评测,把决策结果接进业务(按置信度路由)的实战见 Jevgrep语义搜索教程 的路由思路。

📊 官方对比数据(8 adapter 均值,同测试行)

方案准确率单次决策耗时
Qwen3.8-27B 每个决策都亲自答86.6%8.1 s
Jeff + adapters 先答,27B 兜底95.3%0.25 s(38×)

为什么又快又准:小模型只做「有无把握」的路由判断,难的才交给大模型——大模型从「全部都答」变成「只答难题」,准确率自然上升。

⚙️ adapter:领域决策头

🚀 部署思路

# 参考实现:仓库 jeff-reference-app
# 0.8B 体积 → 笔记本级硬件即可运行
# 拓扑:Jeff(快脑)在前 + Qwen3.8-27B(慢脑)在后
#   Jeff 先答 → 有把握直接用
#            → 不确定 → 转发 27B

# 数据积累:按 jeffhub.ai/docs 的数据指南
#   标注自己的领域样本 → 训练专属 adapter

💡 使用建议

📚 常见问题

Jeff 是什么?

开源的 0.8B 参数 System 1 决策模型(firelex/jeff,1.3k 星):让它站在 Qwen3.8-27B 这类强模型前面做快速判断——Jeff 先答,有把握就直接定,没把握才把查询交给 27B。官方 8 个 adapter 同测试集对比:准确率从 27B 全答的 86.6% 升到 95.3%,单次决策从 8.1 秒降到 0.25 秒(38 倍)。

adapter 是什么?怎么获取?

adapter 是按领域微调的决策头(如法律条款 adapter 只有 41MB:adapter 权重+readout),装上后 Jeff 就懂那个领域的判断标准。v1.2 社区预览版带 9 个官方 adapter,从 jeffhub.ai 获取;注意 adapter 不跨基线版本通用(v1.3 LTS 基线发布后官方 adapter 会重训),但你的数据集可以按官方数据指南构建并跨版本复用。

怎么部署跑起来?

仓库 jeff-reference-app 提供参考实现;0.8B 体积意味着笔记本级硬件即可运行,与 27B 大模型同机部署即可组成『快慢双脑』。所有对比数据的结果文件(jeffhub.json 与各 eval JSON)都开源可查,含与 Qwen3.8-27B 的对照明细。