RAG实践（一）安装本地OLLAMA

ShuaiQIXiaoLuo

538人浏览 · 2025-01-10 09:29:43

ShuaiQIXiaoLuo · 2025-01-10 09:29:43 发布

@[TOC]RAG实践（一）安装本地OLLAMA

下载Ollama

链接: https://ollama.com/
在这里插入图片描述

配置环境变量

Ollama模型下载默认在c盘
变量名：OLLAMA_MODELS
变量值：D:***\ollama\models

下载模型

链接: https://ollama.com/search
在这里插入图片描述

1.选择想要的模型点击复制
2. 粘贴到本机的crm命令行中在这里插入图片描述
大模型拉取完成后会在本机自动启动大模型推理服务

至此说明的ollama已经安装成功，输入/bye 可以退出命令行

重新启动大模型的对话
可以执行 ollama list
再运行 ollama run llama3:latest
在这里插入图片描述

加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

模型量化精度异常时的检查与止损

为了将 70B 大语言模型的部署成本打下来，我们将线上 vLLM 推理集群的模型权重与激活值从 FP16 全量量化到了 INT8（采用 W8A8 方案）。量化效果立竿见影：单卡 A100-80G 的显存占用直接从 140GB（需 2 卡并行）缩减到了 70GB，单卡即可拉起，推理吞吐量（Tokens/s）提升了将近一倍。然而上线不到两天，客服渠道就接到了多起投诉。在处理复杂代码推导和长文本逻辑分析