Ollama 官网 下载安装包。下载完成后安装即可。

可以通过 Win + R,输入 cmd 打开终端,输入 ollama --version 验证是否安装成功或者查看安装的 Ollama 版本。

二、Ollama 下载和运行模型

通过使用 ollama list 可以查看已经下载的模型。如果没有模型可以通过命令 ollama pull 模型名称 下载模型,模型名称可以在 Ollama 社区 查询。在下载完成后可以通过命令 ollama run 模型名称 运行模型。

三、如何在python代码中使用ollama模型

1、python安装相关依赖

pip install -U langchain deepagents
pip install -U langchain
pip install -U langchain-openai
pip install -U langchain-anthropic
pip install langchain-ollama

2、引入依赖

from langchain.agents import create_agent
from langchain_core.messages import  HumanMessage
from langchain_ollama import ChatOllama
from langgraph.checkpoint.memory import InMemorySaver

3、创建llm模型

llm = ChatOllama(
    model="qwen3.5:4b",
    base_url="http://localhost:11434"  #ollama运行模型后默认是11434端口
)

4、创建agent

agent = create_agent(
    model=llm,
    tools=[baidu_search], # 模型工具
    system_prompt="""
你的名字叫小幅,是一个汉服信息小助手。
【系统指令】:当你使用 baidu_search 工具获取到商品数据后,请严格基于这些数据回答用户的问题。
绝对不要使用你自己的外部知识,不要编造趋势或总结,不要添加任何额外解释。
""",  # system_prompt系统提示词,定义模型名称和一些限制
    checkpointer=InMemorySaver() #用于短期记忆,需要配合config使用,需要唯一值
)

5、调用agent

# 4. 调用 Agent
if __name__ == '__main__':
    messages = [
        # SystemMessage(content=system_prompt),
        HumanMessage(content="你叫什么"),
    ]

    config={  #配合短期记忆使用
        "configurable":{
            "thread_id":"001"
        }
    }
    result1 = agent.invoke({"messages": messages},config)
    pprint.pprint(result1["messages"][-1].content)
   

更多推荐