HuggingFace 模型转到 ModelScope 基本上就是直接的文件拷贝，上传前需要将模型配置稍微调整一下。

现在的模型都是支持 Tools，在 Ollama 中使用我们需要对 Template 配置，配置好 Tools 后，就可以通过 Ollama 直接进行函数调用了。

通过 Huggingface 类库启动 qwen1.5 模型, 这里用的是 cpu，如果用mps，也就是 M2 的 GPU，推理时很慢而且 GPU 的使用率也不高，按理说0.5b 参数的这个模型应该是很快的。目前使用 cpu 可以启动，也可以进行问答。

MLX 模型推理非常简单，数据准备好就可以训练和推理，本次使用的是 phi3 模型，中文支持的不好，以后可以试试 Qwen2 怎么样。

比之前部署的 SD 精细不少。文中使用到的文件已经上传到资源中，有兴趣的同学可以下载。

本文采用 Streamlit + LangChain + Ollama 搭建，10 行代码搞定。快速搭建大语言聊天界面能快速测试我们选用的模型，通过命令行测试不是很直观。修改Ollama IP 地址 和端口到你本地的 Ollama。也可以创建容器，方便后续使用。

在k8s下配置 nfs，k8s版本 1.21.1nfs provision 配置文件，网上的k8s版本比较老，nfs启动会报错。apiVersion: apps/v1kind: Deploymentmetadata:name: nfs-client-provisionerlabels:app: nfs-client-provisioner# replace with namespace where

Ollama 是一个开源的 LLM 部署工具，一键部署，超级好用，在 Mac 上支持自动更新，但是到了 LInux 就有些麻烦了，本文讲述如何在 Linux 下更新 Ollama。

AI Agent 是 AIGC 落地实现的场景之一，与 RAG 不同，RAG 是对数据的扩充，是模型可以学习到新数据或者本地私有数据。AI Agent 是自己推理，自己做，例如你对 AI Agent 说我要知道今天上海的天气怎么样，由于 AI 是个模型，底层通过一套复杂的算法进行相似度的比较，最终选出相似最高的答案，所以模型本身是无法访问网络去获取数据的。如果AIGC 只能回答问题，复杂任务和与外

RAG 在 Langchain 上的定义是，作为大语言模型最常用的场景就是问答系统，可以针对特别来源数据做问题回答，就是私有数据，这就是 RAG，英文全称是Retrieval Augmented Generation。就是对现有模型数据的增广，大语言模型都是在公众数据上训练，而且只是拿到了某一个时间点之前的数据。RAG 是数据增广，也可以说是数据过滤，按照今天大模型的发展，上下文的长度已经卷到20