logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

vllm减小显存 | vllm小模型大显存问题

这也是为什么有时候你跑1.5b模型也会显存拉满。实际测试也是如此,我使用下述命令,会报错。vllm日志输出的内容,你可以设置。

MPC模型预测控制与RL强化学习的差异性

模型预测控制(MPC)与强化学习(RL)差异性调研

文章图片
vscode命令行debug

一般命令行debug会在远程连服务器的时候用上,命令行debug的本质是在执行时暴露一个监听端口,通过进入这个端口,像本地调试一样进行。

#vscode#ide#编辑器
模型训练中数据并行(DP)、模型并行(MP)、管道并行(PP)理解

在模型训练中,DP(Data Parallelism)、MP(Model Parallelism)、和 PP(Pipeline Parallelism)是三种常见的并行训练技术是三种常见的并行训练技术,主要用于分布式训练和大模型训练,以解决资源限制和训练效率问题。

#语言模型
上传Excel到HBase数据库(POI、poi-ooxml)

调用poi操作excel,再使用HBase的API将数据上传到HBase数据库

#hbase#数据库#big data
MPC模型预测控制与RL强化学习的差异性

模型预测控制(MPC)与强化学习(RL)差异性调研

文章图片
vscode命令行debug

一般命令行debug会在远程连服务器的时候用上,命令行debug的本质是在执行时暴露一个监听端口,通过进入这个端口,像本地调试一样进行。

#vscode#ide#编辑器
ubuntu命令行调节风扇转速(不需要下载插件)

命令行调节服务器gpu风扇转速,无需额外下载其他插件

文章图片
#ubuntu#linux#服务器
模型训练中数据并行(DP)、模型并行(MP)、管道并行(PP)理解

在模型训练中,DP(Data Parallelism)、MP(Model Parallelism)、和 PP(Pipeline Parallelism)是三种常见的并行训练技术是三种常见的并行训练技术,主要用于分布式训练和大模型训练,以解决资源限制和训练效率问题。

#语言模型
    共 19 条
  • 1
  • 2
  • 请选择