![](../../asset/images/user/bgImg_default.jpeg)
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
vscode调试c++配置tasks.json和launch.json文件
解决vscode调试c++程序的配置问题
更换指定Huggingface/Modelscope默认下载位置
*Step1:**打开配置文件。
![文章图片](https://img-blog.csdnimg.cn/img_convert/4623e588ca14457f867b5aa618627168.png)
【实践】VLLM显存暴增 | 多卡推理 | 批量推理
用两张A800跑Llama3-8B,按理说显存占用应该在16G以上,浮动2~3G,但是发现显存直接拉满了,一共花了140G发现通过vllm.LLM创建模型时,有个参数控制GPU的使用量,其默认值为0.9,正好是140/160将改成0.15,也就是160*0.15 =21G时,模型运行正常,且显存占用压到了21G但问题就来了,为什么16G的模型在设置的时候,会占用140G的显存呢,除了模型本身的参数
![文章图片](https://img-blog.csdnimg.cn/direct/6d47226ee2084e7cb7b32496aa9e83ee.png)
23/04/16使用pyecharts绘制中国地图并显示城市
用pyecharts插件制作标记六个大学所在城市分布的中国地图高清图
![文章图片](https://img-blog.csdnimg.cn/f8c2290ac858427bb80950f4bbee3f03.png)
linux部署Mixtral-8x7B-Instruct实践(使用vLLM/ transformer+fastapi)
Linux下用vLLM本地部署Mixtral-8x7B-instruct,部署成功
![文章图片](https://img-blog.csdnimg.cn/direct/752b026714814d0abefb5619d4687e3e.jpeg)
解决Maven项目pom.xml文件出现红叉但是没有错误信息
1.首先看一下下面的这两个项目,一个是新建的,一个是原来的老项目2.myEcplise中是点击如下图 Maven4MyEcplise, Ecplise中也是右键,只不过点击Mavene而已,两个一样3. 强制更新Maven4.一会 红叉就消失了...
到底了