访问vllm server 没有返回值
这一点倒是没事,但是我的 client 端始终访问不到 localhost 的 8040 端口。我一开始可以把代码中的 localhost 改成我的绝对地址(返回的) 是这一用的,但我不知道是为啥,hhh。今天想起来我好像设置了代理,呵呵呵。但是我这个直接啥都没返回?把这俩取消之后,在执行。:把代理关了再试一次(
·
太长不看版:把代理关了再试一次(unset http_proxy unset https_proxy)
–
我在本地启了服务
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 PYTHONPATH=${PYTHONPATH}:/root/experiments/vllm vllm serve ./models/DeepSeek-V3-awq --tensor-parallel-size 8 --trust-remote-code --disable-log-requests --load-format dummy --port 8040
启动成功了会显示:
这一点倒是没事,但是我的 client 端始终访问不到 localhost 的 8040 端口
我直接做个实验:
curl http://localhost:8040
显示这个是正常的:
但是我这个直接啥都没返回?
我一开始可以把代码中的 localhost 改成我的绝对地址(ifconfig 返回的) 是这一用的,但我不知道是为啥,hhh
今天想起来我好像设置了代理,呵呵呵
unset http_proxy
unset https_proxy
把这俩取消之后,在执行 curl http://localhost:8040 ,OK这次正常了
更多推荐


所有评论(0)