https://github.com/vllm-project/vllm/issues/8996
上面issue有人提问是否有riscv的支持,回复是说如果pytorch支持了那么vllm应该可以直接支持。

https://github.com/vllm-project/vllm/issues/19611
这个issue提到有人想为vllm提供riscv贡献。

https://github.com/vllm-project/vllm/pull/20292
这个稍早的PR提供的是RVV支持,但是还在拉扯中。

https://github.com/vllm-project/vllm/pull/22112
这个PR提供的是Riscv的标量支持,已经合入。

Logo

免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐