大模型学习记录(一)
一些坑&&经验
1,wsl适用于自已电脑上面有GPU的,服务器不适用。
2,Xshell8和Xftp8应该只能往autodl上面传文件,如果是课题组服务器,直接拖到文件夹里面,在pycharm里面点上传。
3,课题组的服务器现在没有sudo权限,pass,改用autodl。
4,这个autodl租的时候一定要租实例多的,不然用的时候没有,上传解压文件都可以无卡开机。
在linux配置ollama
5,在本地下载linux版本的ollama安装包,在D盘百度网盘下载里面存着,上传到服务器。
6,解压到根目录usr文件夹中,sudo tar -xvf ollama-linux-and64.tgz -C /usr
用ollama -v验证,输出版本号就可以了
ollama serve 就可以在前台启动ollama,用nohup ollama serve > ollama.log 2>&1 &就可以后台运行,ps aux | grep ollama这个可以用来验证是否成功。(但是不能开机自启动)。
下载模型文件
5,在服务器上面直接联网下载太慢了,直接本地下载然后打包,传到服务器上面
本地把.ollama/models整个复制到C盘下面,创建一个文件夹ollama_models,放进去。
cd C:\
tar -czvf ollama_models.tar.gz ollama_models
打包好直接上传到服务器里面
6,mkdir -p ~/.ollama
tar -xzvf ollama_models.tar.gz -C ~/
用这个指令,直接解压到目标文件,最后的目录是~/.ollama/models下面有
blobs/
manifests/就可以了
7,重启,重新读取模型
pkill -f "ollama serve"
nohup ollama serve > ollama.log 2>&1 &
8,如果运行这个ollama list有deepseek-r1:1.5b,就成功了,可以ollama run deepseek-r1:1.5b了。
更多推荐

所有评论(0)