🏠 AI Tools Hub | 首页 | 文章 | 评测 | GitHub热门 | 排行榜

Strata 教程：一块 12GB 显卡跑 Qwen3.8-Flash-Next，125B MoE 本地部署一键化

📌 项目地址：github.com/Niko1221/Strata | 星数：1776+ | 平台：Windows 10/11、Linux | 要求：NVIDIA RTX 20+ / 12GB 显存

📋 项目简介

Qwen3.8-Flash-Next 是需要服务器级别硬件的大模型，个人玩家通常只能望而却步。Strata 把「下载、装环境、选量化、起服务」压缩成一次双击：Windows 下双击 START-HERE.bat，回答几个问题，等它下完 ~70GB 模型，浏览器打开 http://127.0.0.1:8080 就能用——写作速度 60-95 tokens/s（比阅读还快），32K 长 prompt 以 2000+ tokens/s 吞吐读入。本地离线大模型的其他路线可对照 Ollama本地部署教程和 vLLM部署教程。

📊 实测速度（RTX 5070 12GB + Ryzen 5 7600 + 64GB RAM）

档位	短对话写作	128K 上下文写作	读 prompt
Q2_0	93 tokens/s	74 tokens/s	2,170 tokens/s
IQ2_XS	79 tokens/s	63 tokens/s	2,090 tokens/s
IQ3_XXS	62 tokens/s	49 tokens/s	1,750 tokens/s
IQ3_S	53 tokens/s	46 tokens/s	1,620 tokens/s
Coder（IQ1_M）	55 tokens/s	43 tokens/s	2,180 tokens/s

24GB 的 RTX 3090 预计可达 100-140 tokens/s；显存越大越快（更多层放进 GPU）。

🚀 安装

# 前置：只装 NVIDIA 驱动（nvidia.com/drivers 或 NVIDIA App）
# 硬件：RTX 20/30/40/50（12GB+）· 内存按档位 37.6GB 起
#       ~80GB 空闲 SSD · Windows 10/11 或 Linux

# Windows：
# 1. 下载项目 zip 解压（或 git clone）
# 2. 双击 START-HERE.bat
# 3. 回答：模型档位 / 上下文长度 / 是否读图 / 实验性提速
# 4. 等待下载 ~70GB 模型（可断点续传）→ 自动打开
#    http://127.0.0.1:8080

# Linux：./setup.sh（同样的问答流程）

# 校准提速：START-HERE.bat --calibrate
# 多卡：START-HERE.bat --gpus 0,2（流水线分流）

💡 使用建议

首次启动 PC 卡 1-3 分钟是正常的（加载 35-55GB 进内存并锁定部分给显卡），别关窗口
模型存在 Strata-data 文件夹（与 Strata 目录平级），升级版本解压新目录再跑 bat 即可复用，不用重新下载
双卡流水线实测 prompt 读取提速 18-20%（RTX 5080 + 3090）；每张卡须 RTX 20 系以上且 ≥8GB
想理解这类 MoE 决策模型的原理延伸，可读 Kev教程：在Qwen上训练自己的决策模型

📚 常见问题

Strata 是什么？

一个让 Qwen3.8-Flash-Next（125B MoE 大模型，通常需要服务器才能跑）在个人 PC 上本地运行的免费开源项目（Niko1221/Strata，1776 星）。双击 START-HERE.bat 即自动完成 Python/引擎/模型的一切安装，浏览器打开 http://127.0.0.1:8080 就是应用界面。RTX 5070（12GB）+ 64GB 内存实测短对话写作 60-95 tokens/s、32K 长 prompt 阅读 2170 tokens/s。

需要什么硬件？怎么装？

需要一块 NVIDIA RTX 20/30/40/50 显卡（12GB+ 显存，20 系自 0.1.27 起支持）、与所选量化档位匹配的内存（37.6GB 起，低内存模式可用大显存换）、约 80GB 空闲 SSD，以及 Windows 10/11 或 Linux。自己唯一要装的是 NVIDIA 驱动；Windows 下载解压后双击 START-HERE.bat 回答几个问题（模型档位/上下文/是否读图），Linux 跑 ./setup.sh，其余全自动。

量化档位怎么选？首次启动卡住正常吗？

四档从快到好：Q2_0（最快/良好，37.6GB）、IQ2_XS、IQ3_XXS、IQ3_S（较好，显存够就选高档）；另有 Coder 编程特化版（IQ1_M）。拿不准先跑 START-HERE.bat --calibrate，它会实测几组引擎设置并保留最快的（约5-10分钟）。首次启动时 PC 卡顿 1-3 分钟属正常——Strata 要把 35-55GB 载入内存并锁一部分给显卡，等窗口提示即可，别关窗口。