prompt-optimizer：AI提示词优化测试工具教程

GitHub 30.3K星 · 开源工具 · Prompt优化/测试/复用

项目简介

prompt-optimizer 是一款开源的 AI 提示词工程工具，帮助开发者系统化地优化、测试和管理 Prompt。解决的核心痛点：同一个任务，Prompt 写法不同导致 AI 输出质量天差地别，但手动调优效率极低。

核心功能

• Prompt 优化：自动分析并改写 Prompt，提升输出质量
• A/B 测试：多版本 Prompt 对比测试，数据驱动选最优
• 版本管理：Git 风格的版本控制，随时回滚
• 批量评测：用测试集批量评估 Prompt 效果

安装方式

# npm 安装
npm install -g prompt-optimizer

# 或 pip 安装
pip install prompt-optimizer

# 或 Docker
docker run -d -p 3000:3000 \
  ghcr.io/prompt-optimizer/prompt-optimizer:latest

快速开始

# 初始化项目
promptopt init my-prompts
cd my-prompts

# 创建第一个 Prompt
promptopt create "提取文章摘要" \
  --template "请将以下文章总结为{length}字摘要：\n{content}"

# 优化 Prompt
promptopt optimize prompts/extract-summary.yaml \
  --model claude-sonnet-4-6 \
  --test-data test_cases.json

# A/B 测试
promptopt test \
  --variant-a prompts/v1.yaml \
  --variant-b prompts/v2.yaml \
  --dataset datasets/summary_test.json

# 查看结果
promptopt report

Prompt 配置示例

# prompts/extract-summary.yaml
name: extract-summary
version: 1.2.0
model: claude-sonnet-4-6
template: |
  你是一个专业的摘要编辑。
  请将以下文章总结为{length}字的中文摘要。
  要求：保留核心观点，去除冗余信息。

  文章内容：
  {content}
parameters:
  - name: length
    type: integer
    default: 200
  - name: content
    type: string
    required: true
test_cases:
  - input: {content: "测试文章...", length: 100}
    expected: "应包含核心观点"

批量评测

# 运行测试集
promptopt eval \
  --prompt prompts/extract-summary.yaml \
  --dataset datasets/100_articles.json \
  --metrics relevance,conciseness,accuracy

# 输出报告
promptopt report --format html > report.html

配合 learnprompt AI编程教程 学习 Prompt 工程基础，再用 cc-switch 管理不同模型的 API 配置，形成完整的 Prompt 工程工作流。