鱼皮AI导航
鱼皮AI导航
  • 主页
  • 社区
  • AI工具
  • AI知识库
  • AI提示词
  • MCP
  • Skills
  • AI学习资源
  • AI资讯
  • GitHub开源
登录/注册

开源SOTA：阶跃发布端到端语音大模型Step-Audio 2 mini！

编程导航
编程导航
2025-09-02 12:30
阅读 307
编程导航
2025-09-02 12:30
阅读 307

大家好，今天阶跃星辰正式发布最强开源端到端语音大模型 Step-Audio 2 mini，该模型在多个国际基准测试集上取得 SOTA 成绩。

它将语音理解、音频推理与生成统一建模，在音频理解、语音识别、跨语种翻译、情感与副语言解析、语音对话等任务中表现突出，并率先支持语音原生的 Tool Calling 能力，可实现联网搜索等操作。

一句话总结，Step-Audio 2 mini “听得清楚、想得明白、说得自然”。模型现已上线 GitHub、Hugging Face 等平台，欢迎大家下载、试用并反馈。

  • GitHub：https://github.com/stepfun-ai/Step-Audio2

  • Hugging Face：https://huggingface.co/stepfun-ai/Step-Audio-2-mini

  • ModelScope：https://www.modelscope.cn/models/stepfun-ai/Step-Audio-2-mini

性能 SOTA

Step-Audio 2 mini 在多个关键基准测试中取得 SOTA 成绩，在音频理解、语音识别、翻译和对话场景中表现突出，综合性能超越 Qwen-Omni 、Kimi-Audio 在内的所有开源端到端语音模型，并在大部分任务上超越 GPT-4o Audio。

  • 在通用多模态音频理解测试集 MMAU 上，Step-Audio 2 mini 以 73.2 的得分位列开源端到端语音模型榜首；

  • 在衡量口语对话能力的 URO Bench 上， Step-Audio 2 mini 在基础与专业赛道均拿下开源端到端语音模型最高分，展现出优秀的对话理解与表达能力；

  • 在中英互译任务上， Step-Audio 2 mini 优势明显，在 CoVoST 2 和 CVSS 评测集上分别取得 39.3 和 29.1 的分数，大幅领先 GPT-4o Audio 和其他开源语音模型；

  • 在语音识别任务上，Step-Audio 2 mini 取得多语言和多方言第一。其中开源中文测试集平均 CER（字错误率） 3.19，开源英语测试集平均 WER（词错误率） 3.50，领先其他开源模型 15% 以上。

论文链接：https://arxiv.org/abs/2507.16632

真端到端架构，轻松听懂“弦外之音”

过往的 AI 语音常被吐槽智商、情商双低。一是“没知识”，缺乏文本大模型一样的知识储备和推理能力；二是“冷冰冰”，听不懂潜台词，语气、情绪、笑声这些“弦外之音”。Step-Audio 2 mini 通过创新架构设计，有效解决了此前语音模型存在的问题，做到“走脑又走心”。

  • 真端到端多模态架构：Step-Audio 2 mini 突破传统 ASR+LLM+TTS 三级结构，实现原始音频输入到语音响应输出的直接转换，架构更简洁、时延更低，并能有效理解副语言信息与非人声信号。

图：Step-Audio 2 mini 模型架构图

  • CoT 推理结合强化学习：Step-Audio 2 mini 在端到端语音模型中首次引入链式思维推理（Chain-of-Thought， CoT）与强化学习联合优化，能对情绪、语调、音乐等副语言和非语音信号进行精细理解、推理并自然回应。

  • 音频知识增强：模型支持包括 web 检索等外部工具，有助于模型解决幻觉问题，并赋予模型在多场景扩展上的能力。

案例分享

下面的案例生动地展示了 Step-Audio 2 的能力。无论是大自然的声音、精湛的配音，还是实时信息搜索，它都能精确理解，展现了在处理复杂音频任务上的巨大潜力。

精准识别，听懂万物之声

Step-Audio 2 mini 像一位听力超棒的音乐家，能分清鸟叫、流水、车声和发条玩具声这四种不同的“音符”。它甚至能听出汽车声中的“激情”——引擎加速和呼啸而过，而不只是冷冰冰地告诉你：“这是车。”

实时搜索，随时获得行业最新资讯

聊到 OpenAI 最新动态，Step-Audio 2 mini 通过工具调用搜索，迅速挖掘出最新语音模型资讯。

语速控制，轻松拿捏

此前，我们发布了同系列满血版 Step Audio 2，现已上线阶跃AI App。打开首页，点击右上角“电话”按钮，即可与模型进行实时对话，体验“深度聆听”和“多音色切换”功能。

不止对话，一起深度思考

当被问及“爱美是自由还是枷锁”这类哲学难题时，Step-Audio 2 mini 能将抽象问题转化为“购物前问自己三个问题”的极简方法论。这背后强大的逻辑推理能力，不仅能引导用户厘清思路，更能找到解决问题的具体路径。

欢迎体验

Step-Audio 2 mini 现已上线阶跃星辰开放平台，欢迎体验和反馈。

体验地址：https://realtime-console.stepfun.com

推荐阅读

原文链接： 开源SOTA：阶跃发布端到端语音大模型Step-Audio 2 mini！
站长：程序员鱼皮 老鱼简历 商务合作 增值电信业务经营许可证
2026 鱼皮AI导航 | 沪ICP备19026706号-6
🔥热门工具
朱雀AI检测朱雀AI检测
朱雀AI检测助手朱雀AI检测助手
LovartLovart
老鱼简历老鱼简历
WritePass官网WritePass官网
面多多面多多
CursorCursor
星月写作星月写作
零感AI零感AI
朱雀AI检测助手朱雀AI检测助手
🔥 热门文章
1
B 站上 DeepSeek 闹鱼灾了，我发起《大肥鱼清除计划》！
480
2
Vibe Coding 实战：从零构建现代专业级 AI 搜索引擎
430
3
我的第一个出海产品！7 天 2 万
370
4
又一个国产版 Codex 神器，也来卷办公了！
370
5
day3-如何写出一个高质量的 Skill（组内分享） 高质量 Skill 不是“一个调得很顺的巨型 Prompt”，而是一个可验证、可回归、可维护的能力包。 先定义“什么算好”，再实现“怎么做好”。评估体系先于 Skill 本身成型。 下面用“故障诊断 Markdown 转 YAML”作为例子，但方法是通用的。 --- 一、先想清楚：Skill 到底是什么 一个 Skill 至少包含四部分： 部分 作用 接口 输入什么、输出什么、边界在哪 流程 分几步做，每步的产物是什么 规则 硬约束、经验规则、失败模式 降级策略 不确定时怎么办，而不是硬编一个看似合理的结果 高质量 Skill 的共同点：职责单一、接口清晰、规则可定位、输出可验证。 反例：把几十条经验全塞进一个主 Prompt，改一条规则要重调整个 Prompt，评估时也不知道是哪条规则退化。 --- 二、核心方法：先建评估，再写 Skill 不要先写转换器再补测试。正确顺序是： 1. 定义输出契约：什么算合法、什么算合格； 2. 建金标准集：一小批人工认可“可放行”的样本； 3. 先写评估 Skill：让它在金标准集上跑出基线； 4. 再迭代生成 Skill：每次修改跑同一套评估，无退化且目标维度提升才算正向。 这就是评估驱动开发：评估是 Skill 的单元测试，金标准集是回归锚点。 --- 三、评估 Skill：三层门禁，逐层递进 前一层不过，后一层不跑。每层留可追溯证据。 第 1 层：确定性硬门禁 用解析器、Schema、校验器完成，不消耗模型成本。 · 输出可解析； · 必填字段齐全，类型/枚举合法； · 引用目标存在，无悬空引用、无不可达节点； · 关键路径至少有一条能到达预期出口。 不通过直接打回。 第 2 层：语义断言 用脚本 + 结构遍历检查“逻辑对不对”，仍然保持确定性。 通用检查项： · 覆盖率：源材料里的关键步骤、分支、条件，输出里是否都有对应？ · 完整性：每个判断节点是否都有明确出口？有没有死胡同？ · 可达性：每条路径是否都能到达预期终点？有没有无出口循环？ · 顺序与依赖：有先后依赖的操作，是否保留了顺序？有没有被拍平成无序列表？ 例子：故障诊断转换中，检查“每个判断项是否有是/否/异常出口”“每条路径是否能到根因”。 第 3 层：LLM-as-Judge 只处理解析器表达不了的维度：忠实度、完整性、可执行性。 但 Judge 会漂移，不能单独放行，必须建立在第 1、2 层之上。Judge 的 Prompt、rubric、模型版本都要版本化，换模型必须用金标准集重新校准。 通用 Judge 维度： 维度 问什么 忠实度 输出是否忠实源材料意图？有没有自行发明内容？ 完整性 关键步骤、条件、证据是否保留？隐式知识有没有被压成空话？ 收敛性 输出是否仍指向原目标，而不是发散？ 可执行性 下游不依赖源材料能否直接使用？ --- 四、金标准集：回归测试的锚点 不需要一开始就标注几百份。用已认可的样本当种子，扩到 15～30 份，覆盖失败模式而非随机抽样： · 完整正例：典型流程； · 边界/异常分支：异常路径、循环、前置失败回退； · 已知易错模式：实际踩过的坑； · 留出集：不参与调优，只用于最终验收，防过拟合。 金标准不需要完美，只需要当前标准下认可可放行。 回归指标：关键路径用 pass^k（k 次全过），稳定性用 pass@k。 --- 五、工程约束：让批量产出可重放 · 幂等：同输入 + 同 Skill 版本 + 同规则 → 输出一致，否则无法判断变好是 Skill 改了还是随机波动； · 隔离不阻断：单份失败进隔离队列，记录失败层和原因，不阻塞其余； · 版本绑定：规则、rubric、金标准集进 Git；每份报告绑定“源版本 + 生成 Skill 版本 + 评估 Skill 版本 + Judge 模型版本”； · 抽样人工复核：Judge 临界样本 + 易错模式，人工抽检结果反过来校准 rubric。 --- 六、Skill 本身怎么写 · SKILL.md 控制篇幅，写清：输入约定、输出契约、分步流程、硬规则、降级策略； · 经验规则放 references/ 或 rules/，按失败模式分类，不要全塞进主 Prompt； · 不确定时标 needs_review: true，不要硬编看似合理的结果； · 迭代由评估报告驱动：报告告诉你哪层挂了、哪类失败模式，你改对应规则文件，而不是漫无目的调 Prompt。 --- 七、落地顺序（不要反过来） 1. 固化输出契约：Schema + 结构约束； 2. 建金标准集：从已认可的 + 最易出错的样本开始； 3. 先写评估 Skill：跑出基线报告； 4. 再迭代生成 Skill：每次修改对比逐项通过率，无退化且目标提升才算正向； 5. 批量运行 + 隔离回放：失败进队列，结束后人工抽检； 6. 评估 Skill 自身版本化：换 Judge 模型必须重新校准。 --- 八、给组员的三条硬要求 1. 不许凭感觉说“变好了”：每次修改必须附评估报告对比，逐项通过率说话。 2. 不许跳过确定性门禁直接看 Judge 分数：前两层挂了，Judge 分数没有意义。 3. 不许把规则堆进主 Prompt：规则按失败模式分文件，评估报告要能定位到具体文件。 --- 一句话收尾 生成 Skill 决定“能不能做”，评估 Skill 决定“敢不敢用”。 先让评估体系站稳，再让生成器迭代。这样交付的不是一堆“看起来还行”的产出，而是一套可证明、可回归、可交接的 Skill 质量体系。
340
6
DeepSeek 重磅开源的超级 Agent，到底是个啥？
330
7
最近在落地 AI Native 项目，卡在团队资产协同这块，想请教下社区各位有实际落地经验的同学： 我们现在的资产分为三块：项目文档（PRD/ADR/ 运行手册）、Agent Skill（业务技能、执行 SOP、提示词包）、MCP 工具服务定义。 目标是做到：人和多 Agent 共用一套可信资料源，Skill、MCP 配置、项目文档能够版本化、同步、共享、可评审。 目前我们初步方案是用 Git 做底层版本主线： - 文档：Markdown + ADR，带元信息，支持 RAG 检索 - Skill：单技能包目录化，带版本、评估用例、依赖声明 - MCP：项目级声明文件纳入 Git 但实际协作里遇到不少疑问，想参考大家成熟的实践： 1. 大家团队里，文档、Skill、MCP 三者是怎么组织目录和版本管理的？有没有稳定的仓库结构模板？ 2. 多人协作时，Skill 的变更评审、灰度升级、依赖管理怎么做？如何避免本地版本不一致、“本地能跑别人不行”？ 3. MCP 是统一中心化网关模式，还是大家各自本地启动 + git 同步配置？权限白名单、调用审计这块有什么好方案？ 4. 有没有成熟工具链做自动同步（类似 agentmeld /teamai-cli）、变更校验、eval 回归门禁？ 5. 文档和 Agent 的打通：哪些文档放进 Git 作为可信真值，哪些放外部知识库，边界怎么划分？ 如果有现成的仓库样例、目录规范、团队协作流程，非常希望能分享参考，感谢！
280
8
PHP 被曝两大致命漏洞，请所有程序员抓紧做这件事！
280
9
人工智能前沿部署工程师（FDE） · 概 览 与 方 法 论
270
10
QuireKit 编辑器的 AI-Native 是如何设计的？谈谈我对真正 AI-Native 的理解
250
11
告别“金鱼记忆”：我开发了一款能当“第二大脑”的浏览器 AI 助手
250
12
ARTS 1101: 最长回文串与子序列匹配、一次 URL 请求的来回之旅与如何验证 AI 的交付
230