中文语音合成（TTS）面临独特挑战，主要包括音色跳变、声调错误和漏读断句问题。音色跳变源于数据不足、特征耦合及方言不匹配，可通过说话人表征学习、编码器优化和解耦技术改善。声调错误由中文韵律复杂性引起，解决方案涵盖多音字消歧、声调解耦和韵律控制技术。漏读断句问题则需加强文本理解、优化韵律预测和注意力机制。这些技术演进从规则驱动发展到基于深度学习的数据驱动方法，显著提升了中文TTS的自然度和表现力。

在开始收集和处理数据之前，详细的规划至关重要，它决定了项目的可行性和最终效果。发音人策略：首先要确定是构建单发音人还是多发音人数据集。对于初学者或特定应用（如语音克隆），单发音人数据集更简单，易于管理和训练。多发音人模型则需要更复杂的数据平衡策略和发音人身份（Speaker ID）管理技术。数据来源与授权：明确音频数据的来源，例如有声读物、播客、广播档案、专业录音或自行录制。至关重要的一点是，必须

在《》一文中已经扩充好了中文词汇表，接下来就是使用整理的中文语料对模型进行预训练了。这里先跳过预训练环节。先试用已经训练好的模型，看看如何推理。

人类的交流沟通本质上是充满情感的。无论是日常对话还是正式演讲，语音都不仅仅是信息的载体，更是情感、态度和意图的表达方式 。情感化语音合成（Emotional Speech Synthesis, ESS）旨在弥合功能性文本到语音（Text-to-Speech, TTS）系统与真正类人交互之间的鸿沟。它赋予机器通过语音表达各种情感的能力，使得人机交互更加自然、生动和富有同理心 。情感化语音合成技术对于

从HiFi-GAN在波形合成效率与保真度上取得的突破，到XCodec2.0和BiCodec在语义丰富性与可控性方面的探索，TTS声学编解码技术在过去数年中取得了令人瞩目的进展。GAN的基石地位: 生成对抗网络（GAN）仍然是训练高保真声码器和编解码器的核心技术之一，尽管通常会辅以感知损失和特征匹配损失来进一步提升效果。

中文语音合成（TTS）面临独特挑战，主要包括音色跳变、声调错误和漏读断句问题。音色跳变源于数据不足、特征耦合及方言不匹配，可通过说话人表征学习、编码器优化和解耦技术改善。声调错误由中文韵律复杂性引起，解决方案涵盖多音字消歧、声调解耦和韵律控制技术。漏读断句问题则需加强文本理解、优化韵律预测和注意力机制。这些技术演进从规则驱动发展到基于深度学习的数据驱动方法，显著提升了中文TTS的自然度和表现力。

文本转语音（Text-to-Speech，TTS）技术是一种将书面文本自动转换为人类语音的技术。它是一门交叉学科，融合了语言学、声学、计算机科学和电子工程等多个领域的知识。TTS技术通过计算机合成逼真的语音，使得用户能够通过听觉获取信息，极大地扩展了人机交互的方式。从早期的机械发声装置到如今高度智能化的语音合成系统，TTS技术已经渗透到我们日常生活的方方面面，例如智能语音助手（亚马逊Alexa、豆

传统上，文本转语音（TTS）系统通常依赖于多阶段流水线，这通常涉及一个声学模型将文本转换为声学特征（例如，梅尔频谱），然后一个声码器将这些特征合成为波形。一个典型的级联模型是GPT-SoVITS，它首先训练一个自回归模型从文本生成音频语义标记，然后由SoVITS模型根据这些标记合成波形。尽管这些级联模型有效，但它们常面临阶段间错误传播的问题，并且联合优化过程可能十分复杂。

近年来，深度学习推动了文本转语音（TTS）技术的显著进步，能够生成高度逼真且可控的语音。高质量、大规模且多样化的数据集是训练先进TTS模型的基础。TTS数据集需要包含音频-文本校对、时间对齐、元数据等，以捕捉语音的细微差别。数据集的构建涉及语言学、信号处理和数据科学，是TTS系统开发的核心环节。数据增强策略如噪声注入、音高变换等，可提高模型泛化能力。数据预处理中的采样率统一、文本规范化和声学特征提

基于LLM的方法摆脱了音素建模，采用了LLM+Decoder架构，在大大简化了TTS的复杂度的同时，提高了合成的可控性，LLM作为这些TTS系统的核心组件或基础架构被反复提及，标志着TTS领域从传统的声学建模方法向利用LLM的语义理解和生成能力的重大转变。这种范式转变直接促成了零样本语音克隆和多语种支持等功能的进步。基于 LLM 的 TTS 技术正在迅速发展，LlaSA、CosyVoice 和 S