macOS操作系统快速构建本地私有化知识库，使用deepseek-r1:14b版本开源模型，完全开源化构建流程。

在Windows本地安装ollama，使用ollama下来开源的大模型并在本地运行。模型默认下载地址：C:\Users\hpi\.ollama。

Ollama是本地运行大型语言模型的轻量级工具，提供类似Docker的操作体验。主要功能包括：通过ollama pull下载模型，ollama list查看本地模型，ollama run运行交互式对话。支持自定义模型创建（Modelfile）、服务管理（端口配置/日志查看）和API调用。常用场景涵盖模型管理、本地推理和性能监控，环境变量可配置存储路径等参数。

macOS操作系统快速构建本地私有化知识库，使用deepseek-r1:14b版本开源模型，完全开源化构建流程。

通过python进行文档内容的解析、分片、并调用Embendding模型（BGE-M3）将分片内容进行向量化，存入向量数据库中，其中向量转化可以使用开源的模型进行处理。

macOS操作系统快速构建本地私有化知识库，使用deepseek-r1:14b版本开源模型，完全开源化构建流程。

Ollama是本地运行大型语言模型的轻量级工具，提供类似Docker的操作体验。主要功能包括：通过ollama pull下载模型，ollama list查看本地模型，ollama run运行交互式对话。支持自定义模型创建（Modelfile）、服务管理（端口配置/日志查看）和API调用。常用场景涵盖模型管理、本地推理和性能监控，环境变量可配置存储路径等参数。

在Windows本地安装ollama，使用ollama下来开源的大模型并在本地运行。模型默认下载地址：C:\Users\hpi\.ollama。

通过python进行文档内容的解析、分片、并调用Embendding模型（BGE-M3）将分片内容进行向量化，存入向量数据库中，其中向量转化可以使用开源的模型进行处理。

公司来了一台工作站，显卡是AMD的，目前跑大模型的更多的用的都是NVIDIA显卡，而且网络上开源的很多框架、工具、模型都对NVIDIA的cuda更加适配，用户强制要求使用AMD卡拉起大模型，在很多开源社区以及AMD官网找了很多资料，逐一踩坑尝试将整体流程整理了一下，仅作为个人笔记记录。