IndexTTS-vLLM：重新定义语音合成效率的新标杆

【免费下载链接】index-tts-vllm Added vLLM support to IndexTTS for faster inference. 项目地址: https://gitcode.com/gh_mirrors/in/index-tts-vllm

IndexTTS-vLLM是一个基于index-tts项目改进的语音合成工具，通过集成vLLM库重新实现了GPT模型的推理过程，显著提升了语音合成的效率和并发处理能力。无论是个人开发者还是企业用户，都能通过这个强大的工具快速构建高性能的语音合成应用。

🌟 核心优势：速度与质量的完美平衡

IndexTTS-vLLM在单卡RTX 4090上的性能提升令人印象深刻：

• 实时因子（RTF）：从约0.3降低至0.1，意味着合成10秒语音仅需1秒计算
• 解码速度：GPT模型解码速度从约90 token/s提升至280 token/s，提速3倍以上
• 并发能力：在仅使用5GB显存（GPU利用率25%）的情况下，可轻松处理16路并发请求

这些提升源于vLLM的高效实现，通过PagedAttention技术优化内存使用，实现了高吞吐量的推理服务。

🚀 快速开始：三步部署语音合成服务

1️⃣ 获取项目代码

git clone https://gitcode.com/gh_mirrors/in/index-tts-vllm
cd index-tts-vllm

2️⃣ 配置环境

创建并激活conda环境，使用uv工具安装依赖：

conda create -n index-tts-vllm python=3.12
conda activate index-tts-vllm
pip install uv
uv pip install -r requirements.txt -c overrides.txt

3️⃣ 下载模型并启动服务

根据需求选择合适的模型版本进行下载：

ModelScope（国内推荐）：

# Index-TTS
modelscope download --model kusuriuri/Index-TTS-vLLM --local_dir ./checkpoints/Index-TTS-vLLM

# IndexTTS-1.5
modelscope download --model kusuriuri/Index-TTS-1.5-vLLM --local_dir ./checkpoints/Index-TTS-1.5-vLLM

# IndexTTS-2
modelscope download --model kusuriuri/IndexTTS-2-vLLM --local_dir ./checkpoints/IndexTTS-2-vLLM

启动WebUI界面：

# Index-TTS 1.0
python webui.py

# IndexTTS-1.5
python webui.py --version 1.5

# IndexTTS-2
python webui_v2.py

📡 API接口：轻松集成到你的应用

IndexTTS-vLLM提供了FastAPI封装的API服务，支持高并发请求处理：

# 启动API服务
# Index-TTS-1.0/1.5
python api_server.py

# IndexTTS-2
python api_server_v2.py

核心启动参数：

• --model_dir: 模型权重路径（必填）
• --host: 服务IP地址，默认为0.0.0.0
• --port: 服务端口，默认为6006
• --gpu_memory_utilization: vllm显存占用率，默认0.25

API使用示例可参考项目中的api_example.py和api_example_v2.py文件，同时支持OpenAI兼容的/audio/speech接口，方便现有应用无缝迁移。

🆕 特色功能

多角色音频混合

v1/v1.5版本支持传入多个参考音频，合成输出的角色声线将是这些参考音频的混合版本，为语音创作提供更多可能性。

持续优化的版本迭代

项目保持活跃更新，关键改进包括：

• 2025-09-22：支持vllm v1版本
• 2025-09-29：解决IndexTTS2的GPT模型推理加速问题
• 2025-10-09：兼容IndexTTS2的API接口调用
• 2026-03-03：支持vllm 0.16.0版本的GPT2推理

📊 性能表现

在seed-test测试集上，IndexTTS-vLLM保持了与原项目相当的语音质量：

模型	中文WER	英文WER
Human	1.254	2.143
index-tts (num_beams=3)	1.005	1.943
index-tts-vllm	1.12	1.987

📝 未来规划

项目 roadmap 包括：

• V2 API的并发优化，当前仅GPT2模型推理并行，其他模块需进一步优化
• s2mel模块的推理加速，该模块目前需要DiT迭代25步，是并发性能的主要瓶颈

通过持续优化，IndexTTS-vLLM正逐步成为语音合成领域效率与质量兼备的首选工具，为开发者提供快速、可靠的语音生成能力。无论是构建语音助手、有声内容创作还是无障碍服务，IndexTTS-vLLM都能满足你的需求。

【免费下载链接】index-tts-vllm Added vLLM support to IndexTTS for faster inference. 项目地址: https://gitcode.com/gh_mirrors/in/index-tts-vllm