logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GPUStack(docker)部署本地模型的注意事项

如果GPUStack部署在docker内,尽管GPUStack的web界面的模型部署显示模型在var/...内部,但实际上路径是有问题的,真实路径应该在docker的卷下。也就是说,如果本地存在一个模型,需要部署在GPUStack中,则需要在对应的docker目录下创建一个路径,将本地模型移进去(使用路径链接似乎GPUStack无法识别)

#docker#人工智能
fatal: unable to access ‘https://github.com/xxx/xxx.git‘:gnutls_handshake() failed: The TLS connect

推断是于系统CA证书过期或则损坏导致 Git 无法验证 GitHub 的 SSL/TLS 证书。输入以下指令后重新pull就好了。

#git#github
dify TTS部署 GPT-SoVITS

1.GPT-SoVITS的api_v2.py作为后端代码,GPT-sovits-2-OpenAI作为openai兼容层,这里参考GPT-sovits-2-OpenAI的app.py进行了修改,用于匹配api_v2.py。以上两种,都需要部署一个config.yaml,详细参考GPT-sovits-2-OpenAI。模型名称随便填,api key随便填,API endpoint URL填。2.第二种

#人工智能#语音识别
fatal: unable to access ‘https://github.com/xxx/xxx.git‘:gnutls_handshake() failed: The TLS connect

推断是于系统CA证书过期或则损坏导致 Git 无法验证 GitHub 的 SSL/TLS 证书。输入以下指令后重新pull就好了。

#git#github
GPUStack(docker)部署本地模型的注意事项

如果GPUStack部署在docker内,尽管GPUStack的web界面的模型部署显示模型在var/...内部,但实际上路径是有问题的,真实路径应该在docker的卷下。也就是说,如果本地存在一个模型,需要部署在GPUStack中,则需要在对应的docker目录下创建一个路径,将本地模型移进去(使用路径链接似乎GPUStack无法识别)

#docker#人工智能
[docker]Failed to initialize NVML: Unknown Error

查了一下网上解决方案,一般说是cgroup引起的,在daemon.json文件内添加"exec-opts": ["native.cgroupdriver=cgroupfs"]就好。但经过上述操作之后,我发现没用,打开config.toml和原服务器对比后。改为一致后,再重启,就正常了。然后重启docker。

#docker#运维#GPU +1
dify TTS部署 GPT-SoVITS

1.GPT-SoVITS的api_v2.py作为后端代码,GPT-sovits-2-OpenAI作为openai兼容层,这里参考GPT-sovits-2-OpenAI的app.py进行了修改,用于匹配api_v2.py。以上两种,都需要部署一个config.yaml,详细参考GPT-sovits-2-OpenAI。模型名称随便填,api key随便填,API endpoint URL填。2.第二种

#人工智能#语音识别
[docker]Failed to initialize NVML: Unknown Error

查了一下网上解决方案,一般说是cgroup引起的,在daemon.json文件内添加"exec-opts": ["native.cgroupdriver=cgroupfs"]就好。但经过上述操作之后,我发现没用,打开config.toml和原服务器对比后。改为一致后,再重启,就正常了。然后重启docker。

#docker#运维#GPU +1
SenseVoice微调

头秃啊,第一遍看readme少看了,数据结构错了之后,回回能训练,但是测试没效果,tensorboard打开还是空,一遍一遍看log,没有找到异常,重新看readme,发现可能是数据集问题。这个数据格式很重要,上面我手搓的数据集也能跑,但结果是跑了好几次,精度都没有任何变换,另外记得路径最好用绝对路径,忘记是啥坑了,只记得得出来的结论是绝对路径更保险。这个在sensevoice的readme里面没

#人工智能#语言模型
Dify部署科大讯飞TTS linux SDK

python调用讯飞linux的离线语音合成c++包,实现dify的实时tts

#语音识别#人工智能
    共 13 条
  • 1
  • 2
  • 请选择