首页/ 资讯/ earshot 开源的 AI 音频工具,让编程Agent 听懂声音

earshot 开源的 AI 音频工具,让编程Agent 听懂声音

拆宝 2026-11-22 24 阅读

earshot是什么

earshot 是开源的 AI 音频工具,让编程 Agent 拥有听觉。earshot能在本地 CPU 上听懂声音,判断一段音频是什么、是否符合描述、在长录音里定位目标片段,还能用代码合成点击声、提示音等音效并自动迭代优化,全程离线运行,通过 MCP 协议接入 Claude Code 等 Agent 环境。

earshot

earshot的主要功能

  • 听懂声音 (describe):把一段音频变成带置信度的文字描述和物理测量数据。
  • 匹配筛选 (match / rank):判断声音是否符合文字描述,或在多个候选里挑出最贴合的那个。
  • 定位片段 (find):在长录音中找出目标声音出现的精确时间点。
  • 辨别真伪 (realness):分辨一段声音是真实录音还是代码合成的。
  • 审查影片 (timeline / sheet / critique):给整部影片做逐秒听觉转录并对照专业标准打分,指出哪里要改。
  • 代码做音 (forge):用物理合成的方式写代码生成音效,由评分器自动迭代到逼真。
  • 录音转代码 (fit):把一段录音逆向拟合成可调参数、可变形的代码模块。
  • 音效库 (sfx / kit):252 个离线音效按 ID 秒级渲染,可调时长音高,不过审自动重抽。
  • 接入 Agent (mcp):以 MCP 服务接入 Claude Code 等环境,模型常驻、随叫随听。

如何使用earshot

  • 环境准备 :装好 Python 3.10+ 和 ffmpeg/ffprobe。
  • 克隆安装 : git clone https://github.com/Leonxlnx/earshot cd earshot ,建虚拟环境后先装 CPU 版 torch 再 pip install -e ".[mcp,llm,dev]"。
  • 下载模型 :运行 earshot doctor --fetch 一次性下载约 1.1GB 的 CLAP 和 AST 模型,之后完全离线。
  • 验证安装 : earshot doctor --load 检查模型、数据文件和 CPU 设置是否就绪。
  • 开始听 : earshot describe 某个音频文件 即可得到文字描述和测量结果,其余命令同理。
  • 接入 Agent(推荐) :执行 claude mcp add earshot -- /path/to/earshot/.venv/bin/python -m earshot mcp 让模型常驻内存,避免每次 20-40 秒加载。
  • 可选技能 :把仓库里 skills/ 下的两个技能文件复制到 ~/.claude/skills/ ,Agent 就知道何时该用哪个命令、哪些结果不可信。

earshot的核心优势

  • 补齐 Agent 的感官盲区 :AI 已能写代码生成影片和游戏,却听不见自己的作品,earshot 恰好补上这缺失的一环。
  • 纯 CPU 离线运行 :不依赖 GPU 和云端 API,普通笔记本就能跑,数据不出本地。
  • 闭环而非单次问答 :不仅能听,还能用代码做声音、听评分、再改代码,直到达标为止。
  • 可校准的量化判断 :描述匹配带 z 分数置信度、真实感有 ROC-AUC 0.92 支撑,结果可复现可比较,而非聊天式的模糊感想。
  • 零成本音效供给 :252 个代码音效离线秒级渲染,不调用任何付费模型,还附自动伪像审计。
  • 原生 Agent 集成 :提供 MCP Server 和 Claude Code 技能文件,模型常驻、随调随用,不用自己封装。
  • 工程态度诚实 :所有指标附可复现的测量命令,盲测输了、Goodhart 风险都写进 README,可信度高。

earshot的项目地址

  • GitHub仓库 :https://github.com/Leonxlnx/earshot

earshot的同类竞品对比

维度 earshot ElevenLabs Sound Effects
本质定位 Agent 的听觉验证层 + 程序化音效合成 云端文本生成音效服务
获得声音的方式 代码配方合成(物理建模 DSP),参数精确可控 神经网络从文字描述生成,结果黑盒
控制权 `–dur`/`–apex`/`–pitch` 精确到毫秒和音分,改参数不改采样 只能反复抽卡 + 文字提示词碰运气
质量把关 每次渲染过自动审计(咔哒声、削波、截尾等),附带 23 项指标评分卡 无内置质检,好听与否靠人耳
成本 本地运行完全免费,零 API 费用 云端付费 API,按量计费,高频迭代成本高
运行环境 纯 CPU、离线、数据不出本地 必须联网,音频上传其云端
生成质量上限 短音效已接近真实(作者盲测 8/15 难分真假),但不擅长复杂音色 神经网络上限更高,复杂环境音、音乐质感更强
声音资产形态 代码模块,可复现、可变形、可 morph,自带 MIT 协议 生成即音频文件,无参数继承
Agent 集成 原生 MCP Server + Claude Code skills 提供 API,需自行封装进 Agent 工作流
隐私合规 完全本地,适合保密项目 音频需上传第三方服务器

earshot的应用场景

  • 音效素材筛选 :游戏或 App 开发中从几百个候选音效里,用 rank / match 按低沉的机械键盘敲击声这类描述秒级挑出最贴合的素材。
  • 播客与有声内容质检 :用 measure 批量检查响度是否达标、有无爆音削波,替代人工听审的第一道筛。
  • 长录音检索定位 :从访谈、会议或监控录音里用 find 自动定位门铃声特定按键音等目标片段,输出精确起止时间供剪辑。
  • 产品音效设计闭环 :为 App/网页设计点击声、提示音时,用 forge 以代码合成 + 自动评分迭代的方式产出可商用授权的原创音效,规避素材版权风险。
相关工具
与本文相关的 AI 工具
AI 智能推荐 ×
输入关键词,AI 从 1000+ 工具中精准匹配推荐