这里先给大家解释一下前面的文章对应代码访问不了的问题，原因是因为我点击share的时候没注意private的钩选项，导致到了github上成了私有仓库了，现在已经把仓库改为public了，欢迎大家多参考指点。
下面记录一下pythonapi调用ollama接口访问大语言模型的学习笔记，持续更新。
https://github.com/stevensu1/test-ollama

# 自然语言处理
Logo
加入AMD AI开发者计划！

免费领 200 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

VLLMService Operator 开发第六篇：给模型服务增加 Service 自动创建能力

做到这里，VLLMService Operator 已经不只是创建 Deployment 了，它开始具备完整服务编排的雏形。-> Pod-> Pod-> Service这一步非常关键，因为 Service 是后续接入流量入口的基础。没有 Service，HTTPRoute 就没有稳定的后端目标；-> Pod-> Service-> Gateway也就是说，Service 是从“模型 Pod 能跑起

avatar AMD开发者中国社区

VLLMService Operator 开发第五篇：部署 Operator 并验证模型服务

存储准备完成后，就可以创建 VLLMService 资源了。metadata:spec:labels:port: 8000resources:requests:cpu: "2"limits:cpu: "4"storage:这里需要明确一点：VLLMService 本身只是用户声明的期望状态，它并不会直接运行模型。真正运行模型的是 Operator 根据这个 VLLMService 自动创建出来的

avatar AMD开发者中国社区
cover

vLLM 与 SGLang 推理框架性能横评，同模型同硬件下吞吐量、首Token延迟对比，选出最适合个人开发者的推理后端

avatar AMD开发者中国社区