WeWorkBuddy

[程序员] [开源分享] 发现一个挺有意思的 TTS 项目 VoxMel,直接在 Mel 频谱上做自回归生成

最近关注到一个挺有意思的开源 TTS 项目: VoxMel 。 GitHub: https://github.com/VoxDance-Lab/VoxMel Twitter: https://x.com/_akhaliq/status/2120749548851368358 现在不少自回归语音生成模型会依赖学习式声学 Tokenizer,先把音频离散化再进行建模。 VoxMel 的思路有点不一样,它尝试直接在连续 Mel 频谱上做自回归生成,不依赖学习式声学 Tokenizer,同时通过小波分解来组织不同尺度的声学信息。 感觉这个方向还挺值得探索的,毕竟如何在不引入离散声学 Token 的情况下实现高质量语音生成,一直是个挺有意思的问题。 项目已经开源了代码、模型和技术报告,也有音频 Demo 可以试听。 分享给同样关注 TTS、语音生成方向的朋友,感兴趣的可以看看实现,也欢迎一起讨论这种建模路线的优劣。 觉得不错的话感觉可以顺手支持个 Star ⭐

阅读原始来源
来源参考:[程序员] [开源分享] 发现一个挺有意思的 TTS 项目 VoxMel,直接在 Mel 频谱上做自回归生成。暂未取得截图。
来源记录 · 预览待采集 · www.v2ex.com打开来源查看完整网页。

来源记录

研究分析

项目记录

来源描述:最近关注到一个挺有意思的开源 TTS 项目: VoxMel 。 GitHub: https://github.com/VoxDance-Lab/VoxMel Twitter: https://x.com/_akhaliq/status/2120749548851368358 现在不少自回归语音生成模型会依赖学习式声学 Tokenizer,先把音频离散化再进行建模。 VoxMel 的思路有点不一样,它尝试直接在连续 Mel 频谱上做自回归生成,不依赖学习式声学 Tokenizer,同时通过小波分解来组织不同尺度的声学信息。 感觉这个方向还挺值得探索的,毕竟如何在不引入离散声学 Token 的情况下实现高质量语音生成,一直是个挺有意思的问题。 项目已经开源了代码、模型和技术报告,也有音频 Demo 可以试听。 分享给同样关注 TTS、语音生成方向的朋友,感兴趣的可以看看实现,也欢迎一起讨论这种建模路线的优劣。 觉得不错的话感觉可以顺手支持个 Star ⭐

采用记录与比较对象

可供比较的近期同类记录:“ersinkoc/phonebox” (Trendshift, 2026年11月17日);“elementalsouls/Claude-BugHunter” (Trendshift, 2026年11月17日)。主题相近仅用于导航,未核验其是否属于同一需求或独立证据。

采用判断

应与它要替代的工具或人工流程比较。现有记录支持发现项目,尚不能确认可靠性、运行成本优势或商业采用。

尚未核验的门槛

尚未核验:许可证权限、硬件要求、安装步骤、维护状态,以及包含失败样例的代表性任务。

下一步试验

选择一个真实任务和现有替代方案,记录 commit、环境、输入、输出、耗时与失败行为;保留结果后再给出采用建议。