📌 项目地址:github.com/zzzz7788990213-ops/EvoVLM | 星数:498+ | 语言:Python | 任务:科学图表理解 | 附技术报告与可复现性说明
提升视觉语言模型准确率的标准答案是微调——贵、慢、还要数据。EvoVLM 走了另一条路:模型权重完全冻结,进化的是推理程序本身。LLM 引导变异,实测评估,Pareto 选择,在科学图表理解任务上自动寻找准确率与延迟的最优平衡。决策模型家族的姊妹篇见 Jeff教程 与 Kev教程,科学假设机制见 hypoarena教程。
| 搜索维度 | 优化什么 |
|---|---|
| 提示词 | 怎么向模型描述任务 |
| 图像预处理 | 喂图前的裁剪/缩放/增强策略 |
| 生成预算 | 给模型多少输出空间(速度 vs 质量) |
| 答案抽取 | 从输出提取最终答案的方式 |
四个维度组成受限的程序表示,进化算法在其上搜索 Pareto 前沿——不微调模型,只优化调用方式。
一个研究项目(498 星):LLM 引导的多目标进化搜索,用于视觉语言推理——『进化推理程序,冻结模型权重』。它在提示词、图像预处理、生成预算、答案抽取四个维度上搜索变异,用实测评估与 Pareto 选择迭代,提升科学图表理解任务上准确率与推理延迟的平衡,全程不做模型微调。
① 提示词——怎么问模型;② 图像预处理——喂图前怎么处理;③ 生成预算——给模型多少输出空间;④ 答案抽取——从输出里怎么提取结果。这四个轴的组合空间巨大,进化搜索(变异→评估→选择)自动找出准确率-延迟的最优平衡点。
适合想把 VLM 在自己任务上『白嫖』出更高准确率的研究者与工程团队——不微调权重、只优化推理程序,成本低且可复现(仓库附技术报告与 reproducibility 说明)。科学图表理解是官方验证场景,其他视觉任务可参考方法迁移。