# 《实战AI大模型》生成AI应用-第11节:基于ACE-Step搭建生成式AI音乐应用
作者:冰河
星球:http://m6z.cn/6aeFbs (opens new window)
博客:https://binghe.gitcode.host (opens new window)
文章汇总:https://binghe.gitcode.host/md/all/all.html (opens new window)
源码获取地址:https://t.zsxq.com/0dhvFs5oR (opens new window)
大家好,我是冰河~~
今天,我们一起基于ACE-Step搭建生成式AI音乐应用,好了,开始今天的正文。
# 一、ACE-Step简介
在现有的音乐生成技术中,开发者常常面临一个困境:生成速度、音乐连贯性和可控性三者难以兼得。基于大语言模型的方案(如Yue、SongGen等)在歌词与旋律的同步上表现出色,但生成速度较慢,且在音乐结构上可能存在瑕疵。而基于扩散模型的方案(如DiffRhythm)虽然生成速度更快,但在长片段音乐的连贯性方面往往不尽如人意。
ACE-Step的出现,巧妙地解决了这一技术难题。它采用了创新的架构设计,将基于扩散的生成方法与Sana的深度压缩自动编码器(DCAE)相结合,并引入轻量级线性变换器,实现了技术上的突破。更值得一提的是,ACE-Step在训练过程中利用MERT和m-hubert技术对齐语义表示(REPA),大幅加快了模型的收敛速度。
这一系列技术创新的结果是令人瞩目的:在A100 GPU上,ACE-Step仅需20秒就能生成长达4分钟的音乐,相比基于大语言模型的方案快了15倍。同时,在旋律、和声、节奏等多个音乐评价指标上,ACE-Step都展现出了卓越的表现,特别是在歌词与旋律的对齐方面。
此外,ACE-Step还保留了丰富的声学细节,支持语音克隆、歌词编辑、混音处理、音轨生成(如歌词转人声、歌唱转伴奏)等多种高级控制功能,为音乐创作提供了前所未有的灵活性。
# 二、安装并使用Canda
ACE-Step的部署需要依赖Python环境,而Conda作为领先的环境管理工具,能够帮助我们高效地创建和管理独立的开发环境。
# 2.1 安装Canda
linux环境
bash Anaconda3-2019.07-Linux-x86_64.sh
#yes+回车
#然后重启terminal
2
3
window环境:直接双击安装exe文件,然后根据安装向导进行安装
# 2.2 升级Canda
升级Anaconda需要先升级conda
conda update conda #基本升级
conda update anaconda #大的升级
conda update anaconda-navigator //update最新版本的anaconda-navigator
2
3
# 2.3 卸载Anaconda软件
由于Anaconda的安装文件都包含在一个目录中,所以直接将该目录删除即可。删除整个Anaconda目录。
如果是Windows系统,可以按照如下方式卸载。
计算机控制面板->程序与应用->卸载 //windows或者找到C:\ProgramData\Anaconda3\Uninstall-Anaconda3.exe执行卸载。
如果是Ubuntu系统,可以按照如下方式卸载。
rm -rf anaconda //ubuntu
最后,建议清理下.bashrc中的Anaconda路径。
# 2.4 conda环境使用基本命令
conda update -n base conda #update最新版本的conda
conda update --all #update最新版本的conda
conda create -n xxxx python=3.5 #创建python3.5的xxxx虚拟环境
conda activate xxxx #开启xxxx环境
conda deactivate #关闭环境
conda env list #显示所有的虚拟环境
conda info --envs #显示所有的虚拟环境
2
3
4
5
6
7
# 2.5 查看指定包可安装版本信息命令
查看tensorflow各个版本:(查看会发现有一大堆TensorFlow源,但是不能随便选,选择可以用查找命令定位)
conda search -h #查看search使用帮助信息
conda search tensorflow
2
查看指定包可安装版本信息命令
anaconda show <USER/PACKAGE>
查看指定anaconda/tensorflow版本信息
conda show tensorflow
输出结果会提供一个下载地址,使用下面命令就可指定安装1.8.0版本tensorflow
conda install --channel https://conda.anaconda.org/anaconda tensorflow=1.8.0
# 2.6 更新,卸载安装包
conda list #查看已经安装的文件包
conda list -n xxx #指定查看xxx虚拟环境下安装的package
conda update xxx #更新xxx文件包
conda uninstall xxx #卸载xxx文件包
2
3
4
# 2.7 删除虚拟环境
conda remove -n xxxx --all //创建xxxx虚拟环境
# 2.8 清理(conda瘦身)
conda clean就可以轻松搞定!第一步:通过conda clean -p来删除一些没用的包,这个命令会检查哪些包没有在包缓存中被硬依赖到其他地方,并删除它们。第二步:通过conda clean -t可以将删除conda保存下来的tar包。
conda clean -p //删除没有用的包
conda clean -t //删除tar包
conda clean -y --all //删除所有的安装包及cache
2
3
# 2.9 复制/重命名/删除env环境
Conda是没有重命名环境的功能的, 要实现这个基本需求, 只能通过愚蠢的克隆-删除的过程。
切记不要直接mv移动环境的文件夹来重命名, 会导致一系列无法想象的错误的发生!
//克隆oldname环境为newname环境
conda create --name newname --clone oldname
//彻底删除旧环境
conda remove --name oldname --all
2
3
4
注意:必须在base环境下进行以上操作,否则会出现各种莫名的问题。
# 2.10 conda自动开启/关闭激活
conda activate #默认激活base环境
conda activate xxx #激活xxx环境
conda deactivate #关闭当前环境
conda config --set auto_activate_base false #关闭自动激活状态
conda config --set auto_activate_base true #关闭自动激活状态
2
3
4
5
# 2.11 Conda 安装本地包
有时conda或pip源下载速度太慢,install a过程中会中断连接导致压缩包下载不全,此时,我们可以用浏览器等工具先下载指定包再用conda或pip进行本地安装
#pip 安装本地包
pip install ~/Downloads/a.whl
#conda 安装本地包
conda install --use-local ~/Downloads/a.tar.bz2
2
3
4
# 2.12 解决conda/pip install 下载速度慢
conda数据源管理
# 查看完整文章
加入冰河技术 (opens new window)知识星球,解锁完整技术文章、小册、视频与完整代码
