1、环境

        1.1、Ollama

        1.2、Windows Server 2019

        1.3、qwen:4b

        1.4、nginx-1.27.0

2、部署后效果如下。

3、环境安装包下载链接包含本文所有的配置内容。

https://download.csdn.net/download/xingchengaiwei/89571623

4、安装ollama，官网下载地址Download Ollama on macOS 我的下载链接里也有。安装过程如下。

安装完成后在命令行中输入 ollama 显示内容如下图

在命令行中输入，ollama run qwen:4b 

执行过程如下图

 添加系统变量

变量名为：OLLAMA_MODELS

变量值：C:\Ollama   

其中C:\Ollama是你安装Ollama使用的大模型的位置。

设置好系统变量后需要重启电脑。

在命令提示符中输入

set OLLAMA_HOST=0.0.0.0:11434

在命令提示符中输入

omllama serve

启动服务，如下图

5、在我的下载文件中的“nginx-1.27.0”文件夹，修改下列文件

       路径nginx-1.27.0\html\saddle文件夹下的“Saddle.js”文件。nginx-1.27.0\conf\文件夹下的“nginx.conf”文件。将文件中“你的IP”替换为你Windows Server 服务器的IP地址即可。

6、千万别忘记运行一下nginx-1.27.0文件中的nginx.exe，然后在网页中访问地址。

# 自然语言处理
Logo
加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

第20篇-推理部署实战-用Go构建vLLM推理客户端

/ ChatMessage 表示一条对话消息// ChatRequest 对应 POST /v1/chat/completions 的请求体// vLLM 扩展字段// ChatChoice 表示一个候选输出// Usage 表示 Token 计量（第 23 篇会深入讨论）// ChatResponse 对应响应体Created int64 `json:"created"` // Unix 时间戳

avatar AMD开发者中国社区

模型量化精度异常时的检查与止损

为了将 70B 大语言模型的部署成本打下来，我们将线上 vLLM 推理集群的模型权重与激活值从 FP16 全量量化到了 INT8（采用 W8A8 方案）。量化效果立竿见影：单卡 A100-80G 的显存占用直接从 140GB（需 2 卡并行）缩减到了 70GB，单卡即可拉起，推理吞吐量（Tokens/s）提升了将近一倍。然而上线不到两天，客服渠道就接到了多起投诉。在处理复杂代码推导和长文本逻辑分析

avatar AMD开发者中国社区

Agent强化学习训练框架Microsoft Agent-Lightning之训练环境部署

本文档详细记录了在Ubuntu 22.04系统上部署Agent-Lightning环境的完整流程。关键点包括：使用conda创建Python 3.12环境；安装特定版本的torch、vllm等核心组件；通过预编译wheel安装flash-attn以避免本地编译；解决了三个常见环境问题（libstdc++版本冲突、fastapi兼容性问题、transformers版本限制）。文档还提供了项目目录结构

avatar AMD开发者中国社区