1.win11的防火墙打开11434端口
2.环境变量增加OLLAMA_HOST为0.0.0.0
3.在win11环境中查找WSL 的Hyper-V firewall的地址x.x.x.x
4.在dify中配置ollama添加模型的基础 URL中填写http://x.x.x.x:11434

# docker # 容器 # 运维
Logo
加入AMD AI开发者计划！

免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖

更多推荐

cover

vLLM Ascend完全指南（建议收藏！！！）

avatar AMD开发者中国社区

大模型性能测试工具：Aisbench和Evalscope性能测试TPOT差异定位报告

本文对比分析Aisbench与Evalscope在vLLM-Ascend服务上对DeepSeek-V4-Flash模型的TPOT性能测试差异。尽管输入输出配置一致，两者TTFT相近，但Evalscope的TPOT约为Aisbench的两倍。通过日志与Profiling分析发现，二者MTP采信率相似，但Aisbench生成速率更高（约40 tokens/s vs 25 tokens/s），根源在于请

avatar AMD开发者中国社区
cover

NVIDIA 开源 AI 实战｜Nemotron-3.5-Lightning 在Azure云服务器 Docker + vLLM 上的部署记录

avatar AMD开发者中国社区