为什么要截取90000，因为如果请求超过vllm的max_len 会报错，所以最好限制一下，不要超过vllm起服务时候的最大长度。下载toolkit和 kernels， 我是910b,如果是310请选择对照的版本。安装完了vllm以后呢，torch会被重新装一下，版本可能和你的驱动不搭配。安装完了以后，再安装一下这几个包，推荐使用conda安装。然后vllm-ascend版本和vllm版本要对照。

目前华为显卡上支持的量化方案比较少，只能选取它自己的量化框架msmodelslim进行量化。1 安装msmodelslim下载一个vllm-ascend的docker然后下载msmodelslim的gitee 项目然后开始安装，需要什么pip，就自己离线拷贝进去安装。我们这里使用的是arrch64的cpu。安装好了以后。开始量化校准。在调用Calibrator.run()方法后，构建Calibra

目前华为显卡上支持的量化方案比较少，只能选取它自己的量化框架msmodelslim进行量化。1 安装msmodelslim下载一个vllm-ascend的docker然后下载msmodelslim的gitee 项目然后开始安装，需要什么pip，就自己离线拷贝进去安装。我们这里使用的是arrch64的cpu。安装好了以后。开始量化校准。在调用Calibrator.run()方法后，构建Calibra

OSError: [WinError 127] 找不到指定的程序。