📌 项目地址:github.com/StayLameBro/backburner | 星数:420+ | 引擎:llama.cpp fork | 实测:M4 Pro + iPhone 17 Pro Max
抽屉里躺着的 iPhone 是一台被浪费的 A19 Pro 超级计算机。Backburner 用一根 10Gb/s USB-C 线把它变成 Mac 的「第二颗 GPU」:Mac 跑模型前 40 层、iPhone 跑后 24 层,流水线推进——prefill 提速 29-44%,iPhone 的 GPU+NPU 还替 Mac 存放最旧的上下文,把容量扩到 196k-229k tokens。所有基准原始数据开源可查。单机 8GB 卡跑 125B 的方案见 Strata教程,推理引擎见 vLLM教程。
| 指标 | Mac 单独 | Mac + iPhone |
|---|---|---|
| prefill(16k-48k) | 基准 | 快 29-44% |
| 上下文容量(8-bit) | 64k(24GB Mac) | 196k-229k |
| 输出一致性 | 贪心输出逐 token 一致(256/256、32/32 全对) | |
# 实测组合
# MacBook Pro M4 Pro(24GB)
# + iPhone 17 Pro Max(A19 Pro)/ 16 Pro Max(A18 Pro)
# + 10Gb/s USB-C 数据线
# v0.0.2 起支持 M 系 iPad(官方标注未充分测试)
#
# 基准原始数据:仓库 bench/results/*.jsonl
用 10Gb/s USB-C 线把 iPhone 插到 MacBook 上、帮 Mac 本地跑 Qwen3.8-27B 的开源项目(StayLameBro/backburner,420 星):Mac 跑 1-40 层、iPhone 在自己 GPU 上跑 41-64 层,流水线推进——prefill 提速 29-44%(16k-48k 上下文),上下文容量扩到 196k-229k tokens(iPhone 17 Pro Max 8-bit)。
不会——贪心输出与纯 Mac 逐 token 一致(8k/32k 上下文 256/256 全对,140k 下 32/32 全对)。引擎是 llama.cpp fork(backburner-llama.cpp),自带 Mac 内核优化:SME2、Metal 融合算子、DFlash2 投机解码——这些优化在纯 Mac 上单独也有效。
实测组合:MacBook Pro M4 Pro(24GB)+ iPhone 17 Pro Max(A19 Pro)或 iPhone 16 Pro Max(A18 Pro),10Gb/s USB-C 数据线连接。v0.0.2 起也能装到 M 系芯片 iPad(官方标注未充分测试)。基准原始数据在仓库 bench/results/*.jsonl 全部可查。