写文章
- @m0_52942489
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
vscode调试c++配置tasks.json和launch.json文件
解决vscode调试c++程序的配置问题
更换指定Huggingface/Modelscope默认下载位置
*Step1：**打开配置文件。
【实践】VLLM显存暴增 | 多卡推理 | 批量推理
用两张A800跑Llama3-8B，按理说显存占用应该在16G以上，浮动2~3G，但是发现显存直接拉满了，一共花了140G发现通过vllm.LLM创建模型时，有个参数控制GPU的使用量，其默认值为0.9，正好是140/160将改成0.15，也就是160*0.15 =21G时，模型运行正常，且显存占用压到了21G但问题就来了，为什么16G的模型在设置的时候，会占用140G的显存呢，除了模型本身的参数
23/04/16使用pyecharts绘制中国地图并显示城市
用pyecharts插件制作标记六个大学所在城市分布的中国地图高清图
linux部署Mixtral-8x7B-Instruct实践（使用vLLM/ transformer+fastapi）
Linux下用vLLM本地部署Mixtral-8x7B-instruct，部署成功
解决Maven项目pom.xml文件出现红叉但是没有错误信息
1.首先看一下下面的这两个项目，一个是新建的，一个是原来的老项目2.myEcplise中是点击如下图 Maven4MyEcplise, Ecplise中也是右键，只不过点击Mavene而已，两个一样3. 强制更新Maven4.一会 红叉就消失了...
到底了