太长不看版:把代理关了再试一次(unset http_proxy unset https_proxy

我在本地启了服务

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7  PYTHONPATH=${PYTHONPATH}:/root/experiments/vllm vllm serve ./models/DeepSeek-V3-awq --tensor-parallel-size 8 --trust-remote-code  --disable-log-requests --load-format dummy --port 8040 

启动成功了会显示:
在这里插入图片描述

这一点倒是没事,但是我的 client 端始终访问不到 localhost 的 8040 端口

我直接做个实验:

curl http://localhost:8040

显示这个是正常的:
在这里插入图片描述
但是我这个直接啥都没返回?

我一开始可以把代码中的 localhost 改成我的绝对地址(ifconfig 返回的) 是这一用的,但我不知道是为啥,hhh

今天想起来我好像设置了代理,呵呵呵

unset http_proxy
unset https_proxy

把这俩取消之后,在执行 curl http://localhost:8040 ,OK这次正常了

Logo

免费领 100 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐