logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

【深度学习】LLaMA-Factory部署Qwen2-VL-72B-Instruct-GPTQ-Int4

https://www.dong-blog.fun/post/1737#%E9%83%A8%E7%BD%B2%20Qwen2-VL-72B-Instruct-GPTQ-Int4%20%E6%A8%A1%E5%9E%8B

#深度学习
sglang 部署Qwen2VL7B,大模型部署,速度测试,深度学习

图来源:https://lmsys.org/blog/2024-09-04-sglang-v0-3/纯transformer,不用加速框架,我之前的测了一张图的速度是:5.22 seconds,很慢。

文章图片
#深度学习#人工智能
制作一个简易恒流电子负载教程,实战教程,单片机程序,电路图,方案

恒流电子负载是一种电子设备,用于模拟恒定电流消耗的负载,它在测试和评价电源(如电池、稳压电源、开关电源等)性能时非常有用。恒流电子负载可以根据设定的电流值,稳定地吸收指定电流,而不受电源输出电压波动的影响。这类设备广泛应用于电子测试领域,用于测试电源在不同负载条件下的响应和稳定性。more恒流电子负载的用途恒流电子负载能模拟稳定电流消耗,从而帮助测试电源的稳定性。例如,测试稳压电源在负载变化时的电

文章图片
#单片机#mongodb#嵌入式硬件
sglang 部署Qwen2VL7B,大模型部署,速度测试,深度学习

图来源:https://lmsys.org/blog/2024-09-04-sglang-v0-3/纯transformer,不用加速框架,我之前的测了一张图的速度是:5.22 seconds,很慢。

文章图片
#深度学习#人工智能
深度学习项目部署:解析 NVIDIA Docker 中的 CUDA 镜像版本:base 版本、 runtime 版本、devel 版本

这个版本从 CUDA 9.0 开始,包含了最基本的 CUDA 应用程序的预构建部署(libcudart)。如果用户希望自行安装所需的 CUDA 包,可以选择使用这个版本的镜像。然而,如果希望更加便捷,建议不要选择这个镜像版本,因为它可能会引入很多不必要的麻烦。在使用 runtime 版本的包时需要注意,它并没有 CUDA 的编译工具 nvcc。因此,在选择镜像版本时,务必根据具体需求仔细权衡,以确

文章图片
#深度学习#docker#人工智能
【深度学习】LLaMA-Factory部署Qwen2-VL-72B-Instruct-GPTQ-Int4

https://www.dong-blog.fun/post/1737#%E9%83%A8%E7%BD%B2%20Qwen2-VL-72B-Instruct-GPTQ-Int4%20%E6%A8%A1%E5%9E%8B

#深度学习
【运维】执行nvidia-smi有点卡,解决办法

考虑到这一点,以下是在系统引导时自动启用NVIDIA持久性模式的一种更通用的方法。请注意,在进行系统配置更改之前,请确保已备份数据,并且最好在具有管理员权限的情况下进行操作。有些情况下,你可能需要在系统引导时运行这个命令。不是所有Linux发行版中都默认启用的,且并非在所有情况下都适用。脚本来启用 NVIDIA GPU 的持久模式。你目前在执行的解决方案似乎旨在通过在系统启动时使用。根据你提供的信

文章图片
#运维
【运维】硬盘两个windows系统,如何删除其中一个

首先,在Win7系统中,点击左下角的“开始”按钮,找到“运行”;如果你是Win10用户,右键单击“开始”即可找到“运行”。你会看到一个名为“系统配置”的界面,切换到“引导”选项卡。在这里,你能看到两个操作系统的信息,比如Win7和Win8。最后一步,右键点击你想要删除的系统所在的盘符,选择“格式化”即可。如果你的电脑上装了两个系统,但现在只想保留一个,别着急,我来告诉你如何轻松搞定。在列表中选择你

文章图片
【运维】Ubuntu如何安装最新版本的Cmake,编译安装Cmake,直接命令安装Cmake

Cmake版本高的时候,里面的语法关键词会多一些,有时候低版本的Cmake就cmake不了。

文章图片
#ubuntu#linux#运维
【运维】Ubuntu如何安装GDB

【代码】【运维】Ubuntu如何安装GDB。

文章图片
#运维#ubuntu#linux
    共 135 条
  • 1
  • 2
  • 3
  • 14
  • 请选择