earshot 开源的 AI 音频工具,让编程Agent 听懂声音
earshot是什么
earshot 是开源的 AI 音频工具,让编程 Agent 拥有听觉。earshot能在本地 CPU 上听懂声音,判断一段音频是什么、是否符合描述、在长录音里定位目标片段,还能用代码合成点击声、提示音等音效并自动迭代优化,全程离线运行,通过 MCP 协议接入 Claude Code 等 Agent 环境。

earshot的主要功能
- 听懂声音 (describe):把一段音频变成带置信度的文字描述和物理测量数据。
- 匹配筛选 (match / rank):判断声音是否符合文字描述,或在多个候选里挑出最贴合的那个。
- 定位片段 (find):在长录音中找出目标声音出现的精确时间点。
- 辨别真伪 (realness):分辨一段声音是真实录音还是代码合成的。
- 审查影片 (timeline / sheet / critique):给整部影片做逐秒听觉转录并对照专业标准打分,指出哪里要改。
- 代码做音 (forge):用物理合成的方式写代码生成音效,由评分器自动迭代到逼真。
- 录音转代码 (fit):把一段录音逆向拟合成可调参数、可变形的代码模块。
- 音效库 (sfx / kit):252 个离线音效按 ID 秒级渲染,可调时长音高,不过审自动重抽。
- 接入 Agent (mcp):以 MCP 服务接入 Claude Code 等环境,模型常驻、随叫随听。
如何使用earshot
- 环境准备 :装好 Python 3.10+ 和 ffmpeg/ffprobe。
- 克隆安装 : git clone https://github.com/Leonxlnx/earshot cd earshot ,建虚拟环境后先装 CPU 版 torch 再 pip install -e ".[mcp,llm,dev]"。
- 下载模型 :运行 earshot doctor --fetch 一次性下载约 1.1GB 的 CLAP 和 AST 模型,之后完全离线。
- 验证安装 : earshot doctor --load 检查模型、数据文件和 CPU 设置是否就绪。
- 开始听 : earshot describe 某个音频文件 即可得到文字描述和测量结果,其余命令同理。
- 接入 Agent(推荐) :执行 claude mcp add earshot -- /path/to/earshot/.venv/bin/python -m earshot mcp 让模型常驻内存,避免每次 20-40 秒加载。
- 可选技能 :把仓库里 skills/ 下的两个技能文件复制到 ~/.claude/skills/ ,Agent 就知道何时该用哪个命令、哪些结果不可信。
earshot的核心优势
- 补齐 Agent 的感官盲区 :AI 已能写代码生成影片和游戏,却听不见自己的作品,earshot 恰好补上这缺失的一环。
- 纯 CPU 离线运行 :不依赖 GPU 和云端 API,普通笔记本就能跑,数据不出本地。
- 闭环而非单次问答 :不仅能听,还能用代码做声音、听评分、再改代码,直到达标为止。
- 可校准的量化判断 :描述匹配带 z 分数置信度、真实感有 ROC-AUC 0.92 支撑,结果可复现可比较,而非聊天式的模糊感想。
- 零成本音效供给 :252 个代码音效离线秒级渲染,不调用任何付费模型,还附自动伪像审计。
- 原生 Agent 集成 :提供 MCP Server 和 Claude Code 技能文件,模型常驻、随调随用,不用自己封装。
- 工程态度诚实 :所有指标附可复现的测量命令,盲测输了、Goodhart 风险都写进 README,可信度高。
earshot的项目地址
- GitHub仓库 :https://github.com/Leonxlnx/earshot
earshot的同类竞品对比
| 维度 | earshot | ElevenLabs Sound Effects |
|---|---|---|
| 本质定位 | Agent 的听觉验证层 + 程序化音效合成 | 云端文本生成音效服务 |
| 获得声音的方式 | 代码配方合成(物理建模 DSP),参数精确可控 | 神经网络从文字描述生成,结果黑盒 |
| 控制权 | `–dur`/`–apex`/`–pitch` 精确到毫秒和音分,改参数不改采样 | 只能反复抽卡 + 文字提示词碰运气 |
| 质量把关 | 每次渲染过自动审计(咔哒声、削波、截尾等),附带 23 项指标评分卡 | 无内置质检,好听与否靠人耳 |
| 成本 | 本地运行完全免费,零 API 费用 | 云端付费 API,按量计费,高频迭代成本高 |
| 运行环境 | 纯 CPU、离线、数据不出本地 | 必须联网,音频上传其云端 |
| 生成质量上限 | 短音效已接近真实(作者盲测 8/15 难分真假),但不擅长复杂音色 | 神经网络上限更高,复杂环境音、音乐质感更强 |
| 声音资产形态 | 代码模块,可复现、可变形、可 morph,自带 MIT 协议 | 生成即音频文件,无参数继承 |
| Agent 集成 | 原生 MCP Server + Claude Code skills | 提供 API,需自行封装进 Agent 工作流 |
| 隐私合规 | 完全本地,适合保密项目 | 音频需上传第三方服务器 |
earshot的应用场景
- 音效素材筛选 :游戏或 App 开发中从几百个候选音效里,用 rank / match 按低沉的机械键盘敲击声这类描述秒级挑出最贴合的素材。
- 播客与有声内容质检 :用 measure 批量检查响度是否达标、有无爆音削波,替代人工听审的第一道筛。
- 长录音检索定位 :从访谈、会议或监控录音里用 find 自动定位门铃声特定按键音等目标片段,输出精确起止时间供剪辑。
- 产品音效设计闭环 :为 App/网页设计点击声、提示音时,用 forge 以代码合成 + 自动评分迭代的方式产出可商用授权的原创音效,规避素材版权风险。
相关工具
与本文相关的 AI 工具