colibri教程：35.8k星纯C零依赖跑前沿MoE模型，磁盘流式专家加载

📋 项目简介

colibri（35.8k星，MIT，纯C）是JustVugg开源的推理引擎：用纯C零依赖跑前沿MoE（混合专家）模型。核心创新是VRAM/RAM/NVMe三层内存层级——专家逐层从磁盘流式加载，让消费级硬件跑744B参数模型。站内已有深度评测（8.7/10），本文是使用教程角度。

📊 核心特性

特性	说明
纯C零依赖	无第三方库依赖，单文件编译，跨平台
三层内存层级	VRAM（GPU显存）→RAM（内存）→NVMe（SSD），专家逐层磁盘流式加载
权重JIT	运行时加载+校验权重，路由热力学习缓存高频专家
双SSD加权镜像	跨双NVMe加权读取提升带宽，71.6%路由可预测
coli命令一条启动	coli run启动推理，coli serve起API服务，coli web起Web界面

特性

说明

纯C零依赖

无第三方库依赖，单文件编译，跨平台

三层内存层级

VRAM（GPU显存）→RAM（内存）→NVMe（SSD），专家逐层磁盘流式加载

权重JIT

运行时加载+校验权重，路由热力学习缓存高频专家

双SSD加权镜像

跨双NVMe加权读取提升带宽，71.6%路由可预测

coli命令一条启动

coli run启动推理，coli serve起API服务，coli web起Web界面

⚡ 安装与运行

# 克隆+编译（纯C零依赖，单文件编译） git clone https://github.com/JustVugg/colibri && cd colibri/c make # coli命令注册到PATH（可选） pip install -e . # editable install注册coli命令 # 启动本地推理 coli run --model coli serve # API服务 coli web # Web界面

💡 使用建议

📚 常见问题

colibri能跑多大的模型？

能跑744B参数MoE模型（如DeepSeek/Mixtral级）。核心是三层内存层级——VRAM不够时专家逐层从RAM/NVMe流式加载，让消费级硬件（如8GB显存+32GB内存+NVMe SSD）跑超大模型。

纯C零依赖有什么好处？

无第三方库依赖意味着无供应链风险、编译简单（单文件make）、跨平台（Windows/macOS/Linux）、资源占用极低。相比llama.cpp的C++仍依赖部分库，colibri更极致精简。

coli serve和coli web有什么区别？

coli serve起OpenAI兼容API服务（可对接应用/curl调用），coli web起Web界面（浏览器可视化交互）。coli run是命令行直接推理。三者共享同一引擎和三层内存层级。