插播广告一条😂🐶：我制作的一个免费 语音识别网站，欢迎体验！

一、进入光合社区

光合社区软件下载
搜索想要的软件，比如vllm

二、选择对应软件下载安装即可

注意查看DCU的开发版本信息：ls /opt/，我的显示结果是：dtk-25.04.1。
建议在下面的选择时，选择cp311的版本，后面也建立对应的python3.11环境。别问我为什么，我之前用cp310的版本，结果安装vllm 0.8.5时告诉我必须用python3.11，导致又得重来一遍。

三、搭建LLaMA-Factory的环境

export LD_LIBRARY_PATH=/opt/dtk-25.04.1/lib/:/opt/dtk-25.04.1/lib64/:$LD_LIBRARY_PATH
git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
conda create -n py311 python=3.11 -y
conda activate py311
pip install -e ".[torch,metrics]" --no-build-isolation   -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch-2.5.1+das.opt1.dtk25041-cp311-cp311-manylinux_2_28_x86_64.whl  -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torchvision-0.19.1+das.opt1.dtk25041-cp311-cp311-manylinux_2_28_x86_64.whl 
pip install deepspeed-0.14.2+das.opt1.dtk25041-cp311-cp311-manylinux_2_28_x86_64.whl  -i https://pypi.tuna.tsinghua.edu.cn/simple

pip install vllm-0.8.5.post1+das.opt1.dtk25041-cp311-cp311-manylinux_2_28_x86_64.whl 
pip install flash_attn-2.6.1+das.opt1.dtk25041-cp311-cp311-manylinux_2_28_x86_64.whl 
pip install triton-3.0.0+das.opt1.dtk25041-cp311-cp311-manylinux_2_28_x86_64.whl