一、服务器环境准备

1.1 选择云服务器(以AutoDL为例)

  1. 登录 AutoDL官网,进入「控制台」。

  2. 创建新实例:

    • 镜像:选择 PyTorch 2.x + CUDA 12.x 基础镜像。

    • GPU型号:至少 RTX 3090 24G 或更高配置(如A100)。

    • 硬盘:建议预留 100GB 以上空间(模型文件较大)。

      请添加图片描述

  3. 开机后记录实例的 IP地址SSH端口密码

请添加图片描述

1.2 基础环境配置

步骤 1:更新系统

apt-get update && apt-get upgrade -y

步骤 2:安装必要工具

apt-get install -y wget curl git pciutils lshw  # 硬件检测工具

二、安装 Ollama

2.1 一键安装

curl -fsSL https://ollama.com/install.sh | sh

可能遇到的问题

  • systemd not running 警告

    手动启动 Ollama 服务(AutoDL容器无systemd):

    nohup ollama serve > /dev/null 2>&1 &
    

2.2 验证是否安装成功

请添加图片描述

三、部署 Deepseek-R1 模型

3.1 选择模型版本

模型名称 参数量 显存需求(量化后) 推荐配置
deepseek-r1:32b 32B ~64GB (FP16) A100 80G
deepseek-r1:32b-q4 32B ~16GB (4-bit量化) RTX 3090 24G
deepseek-r1:16b 16B ~32GB (FP16) RTX 4090 24G

3.2 拉取并运行模型

登录ollama网站可以选取不同模型deepseek-r1:14b

请添加图片描述

# 示例:运行 4-bit 量化版 32B 模型
ollama run deepseek-r1:32b-q4

请添加图片描述

四、部署Chatbox网页版客户端

命令行访问对于大部分人还是不太友好,可以用图形化界面链接 ollama 来使用。这里推荐代码开源的 chatbox

4.1 下载软件:https://chatboxai.app/zh#download

请添加图片描述

4.2 配置Ollama

请添加图片描述

4.3 测试效果

请添加图片描述

Logo

一起探索未来云端世界的核心,云原生技术专区带您领略创新、高效和可扩展的云计算解决方案,引领您在数字化时代的成功之路。

更多推荐