📌 项目地址：github.com/elstongun/leviathan | 星数：635+ | 语言：Rust | 协议：Apache-2.0 | 形态：单二进制
agent 查大数据集的默认姿势是 grep + 翻原文——然后把这些全部塞进上下文，token 爆炸、答案还未必准。Leviathan 换了个架构：记录一次性导入建排好序的全文索引，agent 自然语言提问，返回带引用的简短结果卡。官方 1M 记录实测：每答案 436 tokens vs grep 策略 107,122 tokens（省 245 倍），相关记录命中率 99%。本地 AI 搜索的相册版见 SCM教程，提示词资产化见 Fabric评测。
| 指标 | Leviathan | 最佳 grep 策略 |
|---|---|---|
| 每问题中位 token | 436 | 107,122（245×） |
| 相关记录命中 | 99.0% top5 · 98.5% rank1 | 96.0%（30K 字符输出内） |
| 特性 | 说明 |
|---|---|
| 格式通吃 | JSONL / JSON / CSV / TSV / SQLite / 任意数据库 CLI 输出 |
| 一次导入 | 导出或日志一次性建索引，之后只查 |
| 引用结果卡 | 短答案自带引用，agent 可溯源验证 |
| 规模无关 | 任何数据规模下答案卡都约 450 tokens |
| 单二进制 | Rust 打包，部署零依赖 |
给 agent 用的『大数据集深度记忆』单二进制（elstongun/leviathan，635 星，Rust，Apache-2.0）：把任意记录（JSONL/JSON/CSV/TSV/SQLite/任何数据库 CLI 的输出）索引成排好序的全文索引，agent 用自然语言提问，拿到的是带引用的简短结果卡——任何数据规模下每次答案约 450 tokens。
官方 1M 记录（678MB）实测：每个问题的中位 token 消耗 Leviathan 436 vs 最佳 grep 策略 107,122（省 245 倍）；相关记录命中率 top5 99.0%、rank1 98.5%，grep 在 30K 字符输出内命中 96.0%。省的不是找的过程，是喂给模型的上下文。
三步：一次性导入（JSONL/JSON/CSV/TSV/SQLite/数据库 CLI 输出均可）→ 建索引 → agent 用自然语言提问拿引用结果卡。单二进制部署，适合日志、交易历史、会话存档等 agent 需要反复查询的大数据集场景。