一些坑&&经验

1,wsl适用于自已电脑上面有GPU的,服务器不适用。

2,Xshell8和Xftp8应该只能往autodl上面传文件,如果是课题组服务器,直接拖到文件夹里面,在pycharm里面点上传。

3,课题组的服务器现在没有sudo权限,pass,改用autodl。

4,这个autodl租的时候一定要租实例多的,不然用的时候没有,上传解压文件都可以无卡开机。

在linux配置ollama

5,在本地下载linux版本的ollama安装包,在D盘百度网盘下载里面存着,上传到服务器。

6,解压到根目录usr文件夹中,sudo tar -xvf ollama-linux-and64.tgz -C /usr

用ollama -v验证,输出版本号就可以了

ollama serve 就可以在前台启动ollama,用nohup ollama serve > ollama.log 2>&1 &就可以后台运行,ps aux | grep ollama这个可以用来验证是否成功。(但是不能开机自启动)。

下载模型文件

5,在服务器上面直接联网下载太慢了,直接本地下载然后打包,传到服务器上面

本地把.ollama/models整个复制到C盘下面,创建一个文件夹ollama_models,放进去。

 cd C:\

tar -czvf ollama_models.tar.gz ollama_models

打包好直接上传到服务器里面

6,mkdir -p ~/.ollama
tar -xzvf ollama_models.tar.gz -C ~/

用这个指令,直接解压到目标文件,最后的目录是~/.ollama/models下面有

blobs/
manifests/就可以了

7,重启,重新读取模型

pkill -f "ollama serve"
nohup ollama serve > ollama.log 2>&1 &

8,如果运行这个ollama list有deepseek-r1:1.5b,就成功了,可以ollama run deepseek-r1:1.5b了。

更多推荐