📌 项目：https://github.com/Leonxlnx/earshot | 星数：1792 | 语言：Python | 协议：MIT | 更新：2026-10-18
Earshot是Leonxlnx开源的AI编程代理音频感知模块，1792颗星，Python编写，MIT协议。当前AI编程代理（如Cursor、Claude Code、Cline）大多只处理文本和代码，对音频这个重要的信息维度无感知——你没法对代理说"听一下这段录音看有没有杂音"、"评审这段播客的节奏"、"给这段视频配上解说音频"。Earshot做的就是给AI编程代理装上"耳朵"：它把音频的感知、分析、生成封装成代理可调用的工具集——语音转文字（ASR）、说话人分离、音频质量评审（杂音/底噪/削波检测）、文本转语音（TTS）生成解说音频。最关键的是纯CPU运行，不需要GPU——这降低了在普通开发笔记本上给代理加音频能力的门槛。Earshot用ONNX Runtime的CPU优化推理、轻量Whisper模型、轻量TTS引擎，在i5或M1级别CPU上实时处理音频。
AI代理增强方向值得关注，DeepSeek模型集成可参考DeepSeek Bot Harness指南；GUI编程代理可看Omnirush GUI编程代理指南，代理记忆管理可参考AgentMemoryRepo代理记忆指南。
纯CPU音频感知工具集：Earshot的核心是一组代理可调用的Python函数（兼容OpenAI function calling格式）。asr函数用ONNX Runtime运行whisper-tiny或base量化版，CPU上1分钟音频转写约15秒，支持中英日韩多语言自动检测。diarize函数做说话人分离，识别"谁在什么时候说了什么"，适合播客和会议录音的结构化。review_audio函数分析音频质量——检测底噪水平、削波失真、静音段、响度是否符合广播标准（-16 LUFS），给代理判断"这段录音能不能用"。这些工具让代理具备了音频工程员的感知能力。
代理驱动的音频评审与编辑：Earshot不只是工具集，还提供了一套"代理评审音频"的prompt模板和工作流。代理收到"评审这段播客"的任务后，先asr转写加diarize分说话人，然后按内容维度（话题连贯性、嘉宾互动、节奏快慢、冗余口头禅）做结构化评审，输出可执行的改进建议（"3分20秒到4分15秒话题偏题建议剪掉"、"嘉宾B的音量比嘉宾A低6dB需要做响度匹配"）。配合音频编辑命令（trim/normalize/remove_silence），代理可以直接生成处理后的音频文件。整个工作流让"AI做播客后期"成为可能。
CPU-only TTS与多模态发声：Earshot内置轻量TTS引擎（基于VITS或Piper的ONNX模型），纯CPU生成语音，支持中文/英文/日文多种音色。代理可以"说话"——把生成的代码注释、commit message、评审报告用语音读出来，适合视障开发者或沉浸式编程场景。更进阶的能力是"发声评审"：代理用TTS生成一段语音报告，用户用耳朵听而非眼睛读，适合长时间编码后让眼睛休息。TTS支持SSML标记控制语速、停顿、重音，生成的语音自然度接近商业TTS但完全离线。所有音频I/O用soundfile和pydub处理，不依赖系统音频驱动。
| ✅ 优势 | ❌ 劣势 |
|---|---|
| 纯CPU运行无需GPU | 大音频处理速度不如GPU |
| 给代理装上音频感知能力 | TTS音色不如商业云服务 |
| 代理可评审加编辑音频 | 中文ASR准确率依赖模型 |
| ONNX量化模型轻量 | 说话人分离准确率有限 |
| MIT协议可商用 | 音频处理链路配置较多 |
用whisper-tiny或base量化模型，i5/M1级别CPU上1分钟音频转写约15-30秒，比实时慢但可接受。如果用whisper-small会更准但慢3倍。建议先用tiny快速预览，需要精确时再用base。Earshot支持分段并行处理长音频，8核CPU上1小时音频约10分钟转写完。绝对零GPU是它的卖点。
OpenAI Whisper API准、快、省本地算力，但每次调用上传音频有隐私和成本问题，且需联网。Earshot纯本地适合隐私敏感场景（医疗/法律录音）、离线场景、以及高频调用省成本。准确度上whisper-base ONNX量化版比OpenAI API的large-v3略低，但日常播客转写够用。代理调用也更快无网络往返。
Earshot用的VITS或Piper模型多为CC-BY或MIT协议训练，具体音色模型许可要看模型文件说明。MIT协议的Piper模型可商用。生成的语音用于产品解说、无障碍辅助、内部工具都没问题。如果要替代专业配音做商业广告，音色自然度仍不及ElevenLabs等商业方案，建议评估后选择。