Improving quality and robustness in LLM-based text-to-speech systems
这篇文章讨论了基于 LLM 的文本转语音系统在真实应用中的三个主要问题：多语种语音克隆时的口音泄漏、表达力不足，以及自回归生成带来的幻觉、截断和发音不稳定。作者给出了一组组合式方案：用面向目标地区的数据增强和 LoRA 微调缓解口音串扰；用 classifier-free guidance 生成更具情感和韵律的参考音频，以提升可表达性；再通过在生成前预测音素序列与时长，引入守卫检查和失败重试来提升可靠性。文章还补充了数据过滤策略，结合 ASR 指标与注意力机制筛掉对齐不良样本，同时尽量保留表达性。实验结果显示，九个语言/地区上的 MUSHRA 评分较前代模型提升约 5% 到 20%，长文本上的关键错误率降到每小时不足 1 秒。其方法主要适用于 LLM 自回归 TTS 体系，对传统显式时长建模的 TTS 架构不一定直接适用。
收录价值明确，因为文章不仅描述了 LLM-TTS 的新问题，还给出了 LoRA、CFG、链式预测、guardrails 和数据过滤等可复用方案，并用 MUSHRA 与错误率量化了收益。适合做语音生成、AI 工程化和模型可靠性设计的参考，但读者也应注意这些技巧主要针对自回归 LLM-TTS 场景。