简介

ACE-Step 1.5​ 是由ACE Studio和StepFun联合推出的开源音乐基础模型，代表了开源音乐生成技术的重要里程碑。该项目于2026年2月持续更新，旨在将商业级音乐生成能力带到消费级硬件上，让个人用户和创作者能够在本地设备上快速生成高质量音乐内容。模型基于创新的混合架构，结合了语言模型的规划能力和扩散变换器的生成能力，实现了从简单描述到完整音乐作品的端到端创作流程。

核心价值：

• 商业级质量：在常用评估指标上超越大多数商业音乐模型，质量介于Suno v4.5和v5之间

• 极致性能：在A100上单曲生成时间低于2秒，RTX 3090上低于10秒

• 硬件友好：仅需不到4GB显存即可本地运行，支持多种硬件平台

• 个性化支持：通过少量歌曲即可训练LoRA模型，捕捉个人创作风格

项目定位：在AI音乐生成领域，传统商业模型往往需要云端服务且成本高昂，而开源方案在质量和性能上存在差距。ACE-Step 1.5填补了这一空白，为音乐艺术家、制作人和内容创作者提供了专业级的本地化创作工具。项目特别注重易用性和可访问性，通过直观的Web界面和丰富的API支持，降低了AI音乐创作的技术门槛。

技术基础：模型采用独特的混合架构，语言模型作为全能规划器，将简单用户查询转化为全面的歌曲蓝图，支持从短循环到10分钟完整作品的创作。扩散变换器负责高质量音频生成，通过内在强化学习实现对齐，避免了外部奖励模型或人类偏好带来的偏差。这种设计确保了生成内容在风格多样性和质量稳定性方面的卓越表现。

主要功能

1. 超快速音乐生成

系统支持极速音频生成，在高端GPU上实现秒级响应。A100显卡上完整歌曲生成时间低于2秒，RTX 3090上低于10秒，具体时间可根据思考模式和扩散步骤灵活调整（0.5秒到10秒）。支持批量生成，最多可同时生成8首歌曲，大幅提升创作效率。

2. 灵活时长控制

模型支持广泛的音频时长范围，从10秒短片段到10分钟（600秒）完整作品均可生成。用户可以根据创作需求精确控制输出长度，无论是社交媒体短视频配乐还是完整音乐作品都能满足。

3. 丰富风格支持

系统内置1000多种乐器和风格库，支持精细的音色描述。涵盖从古典到现代、从民族到电子等多种音乐类型，用户可以通过自然语言描述实现精准的风格控制。

4. 多语言歌词生成

支持50多种语言的歌词提示，用户可以使用母语描述歌词内容和结构。系统自动生成符合韵律和情感的歌词，并支持LRC歌词时间戳自动生成，便于后续编辑和同步。

5. 参考音频引导

用户可以提供参考音频来引导生成风格，系统分析参考音频的特征并应用到新作品中。支持封面生成功能，基于现有音频创作全新版本，保持核心旋律的同时变换风格。

6. 高级编辑功能

提供专业的音频编辑能力，包括局部重绘编辑、音轨分离、多轨生成等。支持人声转伴奏功能，自动为演唱录音生成合适的背景音乐。类似Suno Studio的"添加音层"功能，允许用户逐步构建复杂编曲。

7. 元数据精确控制

用户可以对生成音乐进行精细控制，包括时长、BPM（节奏）、调性/音阶、拍号等参数。支持简单模式，仅需简单描述即可生成完整歌曲，系统自动进行查询重写和标签扩展。

8. 音频理解能力

模型具备强大的音频分析能力，可以从输入音频中提取BPM、调性/音阶、拍号等元数据，并生成描述性标题。支持音频标注功能，为训练数据准备提供便利。

9. LoRA个性化训练

提供一站式LoRA训练解决方案，用户只需准备8首歌曲，在RTX 3090（12GB显存）上约1小时即可完成训练。训练过程完全集成在Gradio界面中，支持一键式标注和训练流程。

10. 质量自动评估

内置质量评分系统，对生成音频进行自动评估，帮助用户筛选最佳结果。支持多种评估维度，确保输出内容符合专业标准。

安装与配置

环境要求与硬件兼容性

在开始安装前，需要了解系统的基本要求和硬件兼容性：

基础要求：

• Python版本：3.11-3.12（ROCm on Windows需要Python 3.12）

• 操作系统：Windows、Linux、macOS全平台支持

• 硬件加速：CUDA GPU推荐，也支持MPS（Apple Silicon）、ROCM（AMD）、Intel XPU和纯CPU运行

GPU显存配置指南：

• ≤6GB显存：禁用语言模型，仅使用DiT，启用INT8量化和全CPU卸载

• 6-8GB显存：使用acestep-5Hz-lm-0.6B轻量级语言模型，PyTorch后端

• 8-16GB显存：0.6B或1.7B语言模型，vLLM后端（8-12GB用0.6B，12-16GB用1.7B）

• 16-24GB显存：使用acestep-5Hz-lm-1.7B语言模型，vLLM后端（20GB+可支持4B模型）

• ≥24GB显存：使用acestep-5Hz-lm-4B语言模型，vLLM后端，所有模型无需卸载

快速安装步骤

第一步：安装uv包管理器

根据操作系统选择相应命令：

# macOS / Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows (PowerShell)
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

第二步：克隆项目并安装依赖

# 克隆仓库
git clone https://github.com/ACE-Step/ACE-Step-1.5.git

# 进入项目目录
cd ACE-Step-1.5

# 同步依赖（首次运行会自动下载模型）
uv sync

第三步：启动应用

根据使用场景选择启动方式：

# 启动Gradio Web UI（交互式界面）
uv run acestep

# 或启动REST API服务器
uv run acestep-api

平台专用启动脚本

项目提供了针对不同平台和硬件的专用启动脚本，自动检测环境并配置最优设置：

Windows平台：

• CUDA版本：start_gradio_ui.bat（Web界面）、start_api_server.bat（API服务器）

• ROCm版本：start_gradio_ui_rocm.bat、start_api_server_rocm.bat

Linux平台：

# 赋予执行权限并启动
chmod +x start_gradio_ui.sh && ./start_gradio_ui.sh
# 或启动API服务器
chmod +x start_api_server.sh && ./start_api_server.sh

macOS平台（Apple Silicon）：

chmod +x start_gradio_ui_macos.sh && ./start_gradio_ui_macos.sh

自定义配置设置

推荐创建.env文件进行个性化配置，这些设置会在仓库更新时保留：

配置步骤：

# 复制示例配置文件
cp .env.example .env

# 编辑配置文件，设置偏好参数

常用配置选项：

• ACESTEP_CONFIG_PATH：指定DiT模型配置（如acestep-v15-turbo）

• ACESTEP_LM_MODEL_PATH：设置语言模型路径

• PORT：自定义服务端口（默认7860）

• LANGUAGE：界面语言设置（en/zh/ja等）

多平台详细安装指南

项目提供完整的多语言安装文档，涵盖各种硬件配置：

• 英文指南：详细说明所有平台的安装步骤

• 中文指南：针对中文用户的本地化说明

• 日文指南：日本用户专用安装教程

环境验证与故障排除

安装完成后，建议运行环境检测脚本：

# 测试环境检测
./test_env_detection.sh  # Linux/macOS
test_env_detection.bat   # Windows

对于GPU兼容性问题，项目提供专门的故障排除指南，涵盖CUDA、ROCm、Intel XPU等平台的常见问题解决方案。

如何使用

交互式Web界面使用

Gradio Web UI：

启动Web界面后，用户可以通过浏览器访问本地服务（默认http://localhost:7860）。界面提供直观的音乐生成控制面板，包含以下核心功能区域：

1. 输入控制区：文本描述输入框，支持自然语言描述音乐风格、情绪、乐器等

2. 参数调节区：时长、BPM、调性等精细控制滑块

3. 参考音频区：上传参考音频文件，引导生成风格

4. 高级选项区：扩散步骤、思考模式等专业参数设置

5. 生成结果区：实时显示生成进度和最终音频播放器

Studio UI（可选）：

对于需要更专业工作流程的用户，项目提供DAW（数字音频工作站）风格的HTML前端界面，支持多轨编辑、时间线控制和更复杂的音乐制作流程。

程序化API集成

Python API：

开发者可以通过Python程序直接调用模型功能：

# 示例使用模式（不包含具体代码）
# 1. 初始化ACE-Step客户端
# 2. 配置生成参数（提示词、时长、风格等）
# 3. 调用生成函数获取音频结果
# 4. 处理输出（保存、播放或进一步编辑）

REST API：

对于服务化部署，项目提供完整的HTTP API接口：

• 异步生成端点：提交生成任务，返回任务ID

• 状态查询端点：检查生成进度

• 结果获取端点：下载生成的音频文件

• 批量处理端点：支持多首歌曲同时生成

API支持标准HTTP认证，可以轻松集成到现有工作流或应用程序中。

命令行界面操作

交互式CLI向导：

对于喜欢命令行操作的用户，项目提供功能完整的CLI工具：

# 启动交互式生成向导
uv run acestep-cli

# 向导将引导用户完成：
# 1. 选择生成模式（简单/高级/编辑等）
# 2. 输入音乐描述和参数
# 3. 配置输出选项
# 4. 开始生成并管理结果

批量处理脚本：

支持通过脚本进行批量音乐生成，适用于内容创作工作室或需要大量背景音乐的场景。

个性化模型训练

LoRA训练流程：

用户可以通过Gradio界面轻松训练个性化模型：

1. 数据准备：收集8-10首代表目标风格的歌曲

2. 自动标注：使用内置工具为每首歌曲生成描述性标签

3. 训练配置：设置训练参数（学习率、步数、批量大小等）

4. 开始训练：一键启动训练过程，RTX 3090约需1小时

5. 模型测试：使用训练好的LoRA生成样本来验证效果

高级训练工具（Side-Step）：

对于需要更精细控制的用户，项目提供CLI训练工具包，支持：

• 修正的时间步采样策略

• LoKR适配器支持

• VRAM优化技术

• 梯度敏感性分析

• 专业级训练监控和调优

音频编辑与后期处理

局部重绘编辑：

用户可以选择音频的特定部分进行重新生成，保持其他部分不变。适用于修复不满意片段或尝试不同变体。

音轨分离与重组：

将混合音频分离为不同音轨（人声、鼓、贝斯、旋律等），支持单独编辑或替换特定音轨。

风格转换与混音：

将现有作品转换为不同风格，或创建多个版本的混音，探索不同的编曲可能性。

工作流优化建议

参数调优策略：

• 简单模式：适合快速创意探索，使用默认参数生成

• 精细模式：针对特定需求调整扩散步骤、温度等参数

• 批量模式：生成多个变体，选择最佳结果

资源管理技巧：

• 根据硬件配置选择合适的模型大小

• 利用批处理提高GPU利用率

• 合理设置缓存策略减少重复计算

• 监控显存使用，适时启用CPU卸载

质量控制方法：

• 使用内置质量评分筛选最佳结果

• 结合人工聆听进行最终选择

• 建立个人偏好库，标记喜欢的生成参数

• 定期更新模型和工具以获得改进

应用场景实例

实例1：独立音乐人的创意辅助工具

场景描述：一位独立唱作人经常面临创作瓶颈，需要快速生成音乐灵感来激发创作过程。传统方法需要花费数小时进行编曲和录音，效率低下且成本高昂。音乐人希望有一个能够理解音乐理论、快速生成高质量音乐片段的智能助手，帮助克服创作障碍，探索新的音乐风格。

解决方案：音乐人部署ACE-Step 1.5作为个人创作助手。每天开始创作时，首先使用简单模式快速生成多个音乐片段，基于情绪关键词如"忧郁的钢琴旋律"、"活力的电子节拍"等。系统在几秒钟内提供多个选项，音乐人选择最符合当前创作方向的片段作为起点。

对于更精细的控制，音乐人使用参考音频功能，上传自己哼唱的旋律或已有的音乐片段，让系统生成完整的编曲版本。通过LoRA训练功能，音乐人使用自己过往作品的风格训练个性化模型，确保生成内容与个人音乐风格保持一致。

在歌词创作阶段，音乐人使用多语言歌词生成功能，先用母语描述歌词主题和情感，系统生成符合韵律的歌词草案，音乐人再进行润色和调整。整个创作流程从原来的数天缩短到数小时，创作产出量提升300%。

实施效果：

• 创作效率显著提升，完整歌曲创作周期从平均2周缩短到3天

• 音乐风格探索更加广泛，尝试了之前不敢涉足的音乐类型

• 创作质量得到专业认可，使用AI辅助创作的作品在流媒体平台获得良好反响

• 个人音乐品牌更加鲜明，通过个性化训练形成了独特的AI辅助创作风格

实例2：视频制作工作室的背景音乐生产线

场景描述：一家中型视频制作公司每月需要为数十个视频项目定制背景音乐，涵盖广告、纪录片、社交媒体内容等多种类型。传统方式依赖音乐库授权或外包作曲，成本高昂（每首500-2000美元）、周期长（3-7天），且难以完全匹配视频情感和节奏。工作室希望建立自主的音乐生成能力，实现快速、低成本、高质量的BGM生产。

解决方案：工作室搭建基于ACE-Step 1.5的内部音乐生成平台。技术团队首先训练多个专用LoRA模型：广告音乐模型（明亮、积极）、纪录片模型（沉稳、叙事）、社交媒体模型（简短、抓耳）。每个模型基于相应类型的优秀作品训练，确保风格准确性。

视频编辑流程中集成音乐生成环节：编辑人员上传视频片段，系统自动分析场景内容、情感基调和节奏变化，生成匹配的音乐描述。通过REST API调用生成服务，几分钟内获得多个音乐选项。编辑人员可以在时间线上直接调整音乐参数，如根据画面切换调整节奏变化点。

对于系列视频项目，工作室使用风格一致性功能，基于第一集的成功音乐生成后续集数的变体，保持品牌识别度。批量生成功能支持同时为多个视频项目生成音乐，大幅提升生产效率。月均音乐生成量从外包时的20-30首提升到自主生成时的100+首。

实施效果：

• 音乐制作成本降低90%，从每月数万美元降至数千美元

• 交付周期缩短85%，从平均5天缩短到几小时

• 音乐与视频匹配度提高，客户满意度显著提升

• 建立了独特的音频品牌资产，增强了市场竞争力

实例3：游戏开发公司的动态音效系统

场景描述：一家开放世界游戏开发公司需要为庞大的游戏世界创建丰富的环境音乐和动态音效系统。传统方法需要预先制作大量静态音频资源，占用大量存储空间，且无法根据玩家行为实时变化。公司希望建立一个能够根据游戏状态动态生成适应性音乐的智能系统，提升玩家沉浸感。

解决方案：开发团队将ACE-Step 1.5集成到游戏引擎中，构建实时音乐生成管线。系统根据多个游戏状态参数动态调整音乐：白天/黑夜循环、天气变化、玩家位置（森林/城市/地下城）、玩家行为（战斗/探索/社交）、剧情进展等。

技术团队训练多个游戏专用模型：战斗音乐模型（紧张、激烈）、探索模型（神秘、广阔）、城镇模型（活跃、安全）。通过参数映射系统，将游戏状态量化为音乐控制参数：战斗强度映射为节奏密度，环境危险度映射为和声紧张度，时间流逝映射为旋律发展。

实时生成系统在后台运行，预生成音乐片段并存储在内存池中，根据游戏状态无缝切换和过渡。对于重要剧情时刻，系统使用精心设计的音乐提示词生成特定主题音乐，增强情感冲击力。所有生成内容经过质量过滤，确保符合游戏音频标准。

实施效果：

• 游戏音频资源大小减少70%，动态生成替代了大量静态文件

• 玩家沉浸感评分提高40%，适应性音乐显著增强游戏体验

• 开发效率提升，音频团队可以专注于核心主题而非重复性内容

• 创造了独特的游戏特色，动态音乐系统成为市场宣传亮点

实例4：教育科技公司的互动音乐课程

场景描述：一家在线音乐教育平台需要为不同水平的学生提供个性化练习材料和创作指导。传统课程使用固定教材，难以适应学生的个人进度和兴趣。平台希望建立一个能够根据学生技能水平、音乐偏好和学习目标生成定制化练习和创作挑战的智能系统。

解决方案：教育团队基于ACE-Step 1.5开发智能音乐教学系统。首先建立学生能力模型，评估节奏感、音高识别、和声理解等维度。系统根据能力模型生成渐进式练习：初学者获得简单的节奏模式和旋律片段，进阶学生获得复杂的和声进行和编曲挑战。

创作教学模块中，学生描述想要创作的音乐类型和情感，系统生成多个音乐起点供选择。实时反馈功能分析学生创作尝试，提供具体改进建议：节奏调整、和声优化、旋律发展等。通过对比学生作品与系统生成的专业版本，帮助学生理解差距和改进方向。

教师管理界面提供班级进度概览，系统自动生成个性化学习报告，识别常见难点和优秀案例。教师可以基于系统分析调整教学重点，或使用生成功能快速创建课堂演示材料。平台还建立了学生作品库，优秀作品作为训练数据进一步优化生成模型。

实施效果：

• 学生学习效率提高50%，个性化练习显著提升技能掌握速度

• 教师备课时间减少60%，系统辅助大幅降低教学准备负担

• 学生创作积极性增强，从被动学习转向主动创作

• 建立了差异化竞争优势，智能音乐教学成为平台核心特色

实例5：心理健康应用的疗愈音乐服务

场景描述：一款心理健康应用需要为用户提供个性化的放松和疗愈音乐内容。传统方法使用有限的预录制音乐库，难以满足用户多样化的情绪状态和偏好。应用希望建立一个能够根据用户实时情绪、压力水平和偏好生成定制化疗愈音乐的智能系统。

解决方案：开发团队集成ACE-Step 1.5到心理健康应用中，构建情绪适应性音乐生成系统。用户首先完成音乐偏好评估，选择喜欢的乐器、音乐类型、节奏偏好等。日常使用中，应用通过可穿戴设备数据（心率变异性、睡眠质量）和用户自报情绪日志，实时评估心理状态。

系统根据评估结果生成匹配的音乐：焦虑时生成缓慢节奏、简单和声的平静音乐；低落时生成温暖音色、上升旋律的鼓舞音乐；压力时生成自然声音融合、规律节奏的放松音乐。用户可以通过简单反馈（喜欢/不喜欢）进一步优化生成偏好。

专业治疗师参与系统设计，确保音乐参数符合音乐治疗原则：特定频率范围促进放松，节奏模式调节呼吸，和声进行引导情绪转变。系统还支持生成引导性冥想配乐，结合语音指导创造完整的正念体验。所有生成内容经过心理健康专家审核，确保安全性和有效性。

实施效果：

• 用户参与度提高80%，个性化音乐显著增强应用粘性

• 压力缓解效果提升，用户反馈音乐帮助平均降低焦虑评分30%

• 治疗师工作效率提高，系统辅助生成减少了手动音乐选择时间

• 建立了循证音乐疗愈方案，临床效果得到初步验证

GitHub地址

官方仓库地址：https://github.com/ace-step/ACE-Step-1.5

项目关键信息：

• 项目名称：ACE-Step 1.5 - 高效开源音乐基础模型

• 组织：ace-step（ACE Studio和StepFun联合项目）

• 最新更新：2026年2月21日（持续活跃开发）

• 主要语言：Python（主要）、Shell脚本、配置文件

• 开源协议：MIT许可证

• 项目状态：生产就绪，持续改进中

仓库结构概览：

ACE-Step-1.5/
├── .claude/skills/          # AI助手技能配置
├── .github/workflows/       # GitHub Actions自动化
├── acestep/                 # 核心Python包
├── assets/                  # 静态资源文件
├── docs/                    # 多语言文档
├── examples/                # 使用示例
├── openrouter/              # OpenRouter集成
├── scripts/                 # 实用脚本
├── ui/                      # 用户界面代码
├── .env.example            # 环境变量示例
├── AGENTS.md               # 代理系统文档
├── CONTRIBUTING.md         # 贡献指南
├── LICENSE                 # MIT许可证
├── README.md               # 完整项目文档
├── pyproject.toml          # Python项目配置
├── requirements*.txt       # 各平台依赖文件
├── start_*.sh/bat          # 各平台启动脚本
└── train.py                # 训练脚本

核心特性总结：

• 商业级质量：评估指标超越多数商业音乐模型

• 极致性能：A100上2秒内生成完整歌曲

• 硬件包容：4GB显存即可运行，支持多平台

• 风格丰富：1000+乐器和风格，精细控制

• 多语言支持：50+语言歌词生成和理解

• 个性化训练：少量数据即可训练个人风格模型

• 专业编辑：重绘、分离、转换等高级功能

• 全面API：Python、REST、CLI多种集成方式

安装命令参考：

# 基础安装流程
git clone https://github.com/ACE-Step/ACE-Step-1.5.git
cd ACE-Step-1.5
uv sync

# 启动Web界面
uv run acestep

# 或启动API服务器
uv run acestep-api

社区与支持：

• 官方合作：ACE Studio和StepFun联合开发维护

• 多语言文档：英文、中文、日文、韩文完整文档

• 活跃社区：GitHub Issues和讨论区提供支持

• 持续更新：定期发布改进和功能增强

• 学术认可：提供正式引用格式，支持研究使用

项目愿景与影响：

ACE-Step 1.5代表了开源音乐生成技术的重要突破，将之前仅存在于商业云端服务的高质量音乐生成能力带到了个人硬件上。这种民主化访问不仅降低了创作门槛，更激发了全球范围内的音乐创新潜力。项目通过精心设计的架构平衡了质量、速度和资源需求，为各种应用场景提供了可行的解决方案。

从技术角度看，项目的混合架构设计——语言模型作为规划器、扩散变换器作为生成器——为多模态AI系统提供了有价值的参考。内在强化学习方法避免了外部偏好的引入，保持了生成内容的多样性和创造性。这种技术选择反映了对AI艺术创作本质的深刻理解。

从生态影响看，ACE-Step 1.5为整个音乐科技生态系统注入了新活力。独立音乐人获得了与大型工作室竞争的工具，教育机构能够提供之前无法实现的个性化教学，治疗师可以探索音乐疗愈的新可能性。项目的开源性质确保了技术的透明性和可审计性，这在AI生成内容日益受到关注的今天尤为重要。

更重要的是，项目展示了中国科技团队在全球AI创新中的领导力。作为ACE Studio和StepFun的联合项目，ACE-Step 1.5不仅技术领先，更在工程实现、文档完整性和用户体验方面达到了国际一流水平。这为中国开源项目树立了新的标杆，也为全球AI社区贡献了重要价值。

随着AI音乐生成技术的不断成熟，ACE-Step 1.5可能成为未来音乐创作基础设施的重要组成部分。无论是作为独立创作工具、集成到专业工作流，还是作为更大系统的组件，项目都展现了强大的适应性和扩展潜力。在这个快速发展的领域，ACE-Step 1.5不仅是一个工具，更是探索AI与艺术融合边界的重要平台。