1. 检查本地是否有端口冲突
    Ollama默认端口为11434,执行:
    netstat -ano | findstr “11434”

  2. 下载及安装
    ollama 官网下载:https://ollama.com/download
    下载后,默认 Install 安装即可,无需修改任何内容。

  3. 安装完成后配置系统变量与path
    系统变量——新建——(ollama模型的存储路径)
    变量名:OLLAMA_MODELS
    变量值:D:\OllamaModels
    系统变量path——新建——(ollama.exe所在⽬录)
    通常在下面路径中查找"C:\Users*\AppData\Local\Programs\Ollama"

  4. 设置ollama开机非自启动
    删除:
    %APPDATA%\Microsoft\Windows\Start Menu\Programs\Startup
    下快捷方式。

注意:配置完成后,重启电脑即生效,未重启电脑即下载模型使用的话,默认会下载在路径" C:\Users\ * .ollama\models",如果先配置环境变量未重启,模型下载到默认路径了,再次重启电脑后环境变量生效,可以采取默认路径下models文件夹删除的方式,可以节省C盘空间,后续下载模型都在OLLAMA_MODELS配置的路径下。

  1. http://localhost:11434 查看ollama状态:
    Ollama is running

  2. 地址:https://ollama.com/library 查看ollama可下载模型

  3. 下载及使用
    在这里插入图片描述

  4. ollama常用指令
    拉取模型:ollama pull <模型名>[:标签]
    查看本地模型:ollama list
    删除模型:ollama rm <模型名>[:标签]
    复制模型:ollama cp <源模型名> <新模型名>
    直接运行模型:ollama run <模型名>
    单次提问:ollama run <模型名> “你的问题”
    带参数运行:llama run <模型名> --temperature 0.7 --seed 42
    查看模型信息:ollama show <模型名>
    停止模型:ollama stop <模型名>

  5. 测试
    curl http://localhost:11434/api/generate -d ‘{
    “model”: “qwen2:0.5b”,
    “prompt”: “写一个简短的故事”,
    “stream”: true
    }’ -N

  6. ollama启动本地模型后,docker启动open webui可以直接使用
    ollama启动本地模型:
    开始——ollama启动——cmd中
    ollama list
    ollama ps
    ollama run qwen2:0.5b
    docker启动open webui:
    镜像源:
    docker pull ghcr.nju.edu.cn/open-webui/open-webui:main
    启动命令:
    docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main
    访问:
    http://localhost:3000/

Logo

免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐