什么是Ollama?

Ollama是一个专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源工具。

如何部署Ollama?

我是使用的云平台,大家也可以根据自己的云平台的特点进行适当的调整。
使用系统:ubuntu
首先从官网上下载https://ollama.com/download/linux对应的命令
curl -fsSL https://ollama.com/install.sh | sh
更新配置文件
vi /etc/systemd/system/ollama.service
在里面添加:
Environment=“OLLAMA_HOST=0.0.0.0:8891”
输入:wq!回车,保存此文件。
在这里插入图片描述
重启服务
sudo systemctl daemon-reload
sudo systemctl restart ollama
如果你发现这个ollama的端口号又变到了11434,那么你也可以手动在terminal界面输入:
export OLLAMA_HOST=0.0.0.0:8892
source ~/.bashrc

查看ollama的状态
sudo systemctl status ollama
正常返回如下
在这里插入图片描述

拉取模型

为了方便(如果是用云平台的话,最好带上端口号):

平台支持的模型列表:https://ollama.com/search

OLLAMA_HOST=127.0.0.1:8892 ollama run deepseek-r1
在这里插入图片描述
结束之后,就可以对话了
在这里插入图片描述

查看模型列表

OLLAMA_HOST=127.0.0.1:8892 ollama list

删除模型

OLLAMA_HOST=127.0.0.1:8892 ollama rm quentinz/bge-large-zh-v1.5

如何使用langchain 调用ollama的模型

使用的langchain的版本号:
langchain 0.3.17
langchain-community 0.3.16

from langchain.prompts.chat import ChatPromptTemplate
from langchain_community.chat_models import ChatOllama

template="你是一个特别厉害的翻译专家,可以将{input_language}翻译成{output_language}"
human_template="{text}"
chat_prompt=ChatPromptTemplate.from_messages([("system",template),("human",human_template)])
messages=chat_prompt.format_messages(input_language="中文",output_language="英文",text="今天是周日")


ollama_llm = ChatOllama(model="deepseek-r1:latest",base_url="http://localhost:8891")
result=ollama_llm.invoke(messages)
print(result.content)

然后你就可以看到答案
在这里插入图片描述

把模型下载到存储盘

类似改端口的方式:
export OLLAMA_MODELS=/data
source ~/.bashrc
然后再进行拉取,这时候,你可以看到,模型的存储位置已经更新到/data下面了

在这里插入图片描述

Logo

免费领 150 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐