
简介
该用户还未填写简介
擅长的技术栈
未填写擅长的技术栈
可提供的服务
暂无可提供的服务
接上一篇Docker文章,关于我使用Ascend显卡时的项目复盘
HugePages 是宿主机 CPU 大页内存,是昇腾 CANN 驱动、NPU 通信、显存辅助缓存的底层依赖资源;推理服务异常退出会造成巨页共享内存内核残留无法释放,HugePages 耗尽会造成昇腾 Runtime 运行异常、显存管理错乱、假性显存不足;清理ipcs -m里的 ascend 共享内存,是清理驱动遗留的巨页内存垃圾,让 CANN Runtime 初始化恢复正常,NPU 显存分配逻辑
接上一篇Docker文章,关于我使用Ascend显卡时的项目复盘
HugePages 是宿主机 CPU 大页内存,是昇腾 CANN 驱动、NPU 通信、显存辅助缓存的底层依赖资源;推理服务异常退出会造成巨页共享内存内核残留无法释放,HugePages 耗尽会造成昇腾 Runtime 运行异常、显存管理错乱、假性显存不足;清理ipcs -m里的 ascend 共享内存,是清理驱动遗留的巨页内存垃圾,让 CANN Runtime 初始化恢复正常,NPU 显存分配逻辑
大模型的学习(只是学习记录,可能存在错误认知与理解)
这个说白了就是,做一个前端界面出来,把接口封装起来,让这个工具给普通人也可以用(毕竟是要做成一个完成的应用服务的),没有这一层的话,也可以,但是吧不美观,没有人想每次都在终端命令行中敲IP地址以及各种符号,况且,还记得前面说过得多模态模型,也就是说大模型返回的东西,可能不仅是文本,它也可以是图片、音视频、或者是ppt工程文件等等,所以这些返回结果不是像文本返回结果那样人可以读懂的,所以就需要辅助周
到底了







