【LLM大模型】基于windows的ollama大模型快速部署
·
下载安装Ollama
下载地址：https://ollama.com/download
加速地址：https://gh-proxy.com/https://github.com/ollama/ollama/releases/download/v0.5.13/OllamaSetup.exe
下载文件OllamaSetup.exe
直接双击安装即可
安装完，软件自动运行
执行
ctrl+r执行shell:startup，会发现Ollama的自启快捷方式
配置模型保存地址
默认模型保存在C:\Users\%username%\.ollama\models
所有我们需要修改模型保存路径到其他盘
新增环境变量OLLAMA_MODELS，指向其他路径
通过任务管理器关闭Ollama（有一个守护进程，需要先杀守护进程）
再通过ollama serve或者shell:startup内的快捷方式启动，使修改的环境变量生效
访问http://127.0.0.1:11434/， 见Ollama is running，表示成功运行
常见环境变量参数
| 参数 | 标识与配置 |
|---|---|
| OLLAMA_MODELS | 表示模型文件的存放目录，默认目录为当前用户目录即 C:\Users%username%.ollama\models Windows 系统 建议不要放在C盘，可放在其他盘（如 E:\ollama\models） |
| OLLAMA_HOST | 表示ollama 服务监听的网络地址，默认为127.0.0.1 如果想要允许其他电脑访问 Ollama（如局域网中的其他电脑），建议设置成 0.0.0.0 |
| OLLAMA_PORT | 表示ollama 服务监听的默认端口，默认为11434 如果端口有冲突，可以修改设置成其他端口（如8080等） |
| OLLAMA_ORIGINS | 表示HTTP 客户端的请求来源，使用半角逗号分隔列表 如果本地使用不受限制，可以设置成星号 * |
| OLLAMA_KEEP_ALIVE | 表示大模型加载到内存中后的存活时间，默认为5m即 5 分钟 （如纯数字300 代表 300 秒，0 代表处理请求响应后立即卸载模型，任何负数则表示一直存活） 建议设置成 24h ，即模型在内存中保持 24 小时，提高访问速度 |
| OLLAMA_NUM_PARALLEL | 表示请求处理的并发数量，默认为1 （即单并发串行处理请求） 建议按照实际需求进行调整 |
| OLLAMA_MAX_QUEUE | 表示请求队列长度，默认值为512 建议按照实际需求进行调整，超过队列长度的请求会被抛弃 |
| OLLAMA_DEBUG | 表示输出 Debug 日志，应用研发阶段可以设置成1 （即输出详细日志信息，便于排查问题） |
| OLLAMA_MAX_LOADED_MODELS | 表示最多同时加载到内存中模型的数量，默认为1 （即只能有 1 个模型在内存中） |
获取模型
ollama list 查看本地已下载模型
ollama pull qwen2.5:3b # 拉取模型
ollama run qwen2.5:3b # 运行模型
访问
https://ollama.com/library，获取云端已支持模型
免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖
更多推荐
3
0- 0
已为社区贡献1条内容
所有评论(0)