[程序员] [开源分享] 发现一个挺有意思的 TTS 项目 VoxMel,直接在 Mel 频谱上做自回归生成
最近关注到一个挺有意思的开源 TTS 项目: VoxMel 。 GitHub: https://github.com/VoxDance-Lab/VoxMel Twitter: https://x.com/_akhaliq/status/2120749548851368358 现在不少自回归语音生成模型会依赖学习式声学 Tokenizer,先把音频离散化再进行建模。 VoxMel 的思路有点不一样,它尝试直接在连续 Mel 频谱上做自回归生成,不依赖学习式声学 Tokenizer,同时通过小波分解来组织不同尺度的声学信息。 感觉这个方向还挺值得探索的,毕竟如何在不引入离散声学 Token 的情况下实现高质量语音生成,一直是个挺有意思的问题。 项目已经开源了代码、模型和技术报告,也有音频 Demo 可以试听。 分享给同样关注 TTS、语音生成方向的朋友,感兴趣的可以看看实现,也欢迎一起讨论这种建模路线的优劣。 觉得不错的话感觉可以顺手支持个 Star ⭐
阅读原始来源来源记录
研究分析
项目记录
来源描述:最近关注到一个挺有意思的开源 TTS 项目: VoxMel 。 GitHub: https://github.com/VoxDance-Lab/VoxMel Twitter: https://x.com/_akhaliq/status/2120749548851368358 现在不少自回归语音生成模型会依赖学习式声学 Tokenizer,先把音频离散化再进行建模。 VoxMel 的思路有点不一样,它尝试直接在连续 Mel 频谱上做自回归生成,不依赖学习式声学 Tokenizer,同时通过小波分解来组织不同尺度的声学信息。 感觉这个方向还挺值得探索的,毕竟如何在不引入离散声学 Token 的情况下实现高质量语音生成,一直是个挺有意思的问题。 项目已经开源了代码、模型和技术报告,也有音频 Demo 可以试听。 分享给同样关注 TTS、语音生成方向的朋友,感兴趣的可以看看实现,也欢迎一起讨论这种建模路线的优劣。 觉得不错的话感觉可以顺手支持个 Star ⭐
采用记录与比较对象
可供比较的近期同类记录:“ersinkoc/phonebox” (Trendshift, 2026年11月17日);“elementalsouls/Claude-BugHunter” (Trendshift, 2026年11月17日)。主题相近仅用于导航,未核验其是否属于同一需求或独立证据。
采用判断
应与它要替代的工具或人工流程比较。现有记录支持发现项目,尚不能确认可靠性、运行成本优势或商业采用。
尚未核验的门槛
尚未核验:许可证权限、硬件要求、安装步骤、维护状态,以及包含失败样例的代表性任务。
下一步试验
选择一个真实任务和现有替代方案,记录 commit、环境、输入、输出、耗时与失败行为;保留结果后再给出采用建议。