logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

全网最详细使用Sglang部署DeepSeek-R1-671B满血版4机32卡

InfiniBand 提供极高的吞吐量(可达数百Gbps)和极低的延迟(微秒级),同时支持远程直接内存访问(RDMA),允许数据直接在节点间传输,无需CPU干预,从而大幅提升效率。OpenSM 是 InfiniBand 网络的子网管理器,负责管理 InfiniBand 子网的拓扑结构、路由和通信。OpenIBD 是 InfiniBand 设备的守护进程,负责初始化和管理 InfiniBand 设备

文章图片
#perl#开发语言#DeepSeek
全网最全sglang部署DeepSeek-R1-Distill-Qwen-14B/32B大模型

home/weights :存放权重文件,容器的home下被绑定。下面脚本中的ip_ad表示ip地址,比如10.101.21.10。进入容器,并切换到home目录下。

文章图片
#docker#容器#运维 +2
电脑本地摄像头做成rtsp流调用测试windows系统中

本文详细介绍了在Windows11系统下使用FFmpeg将本地摄像头转换为RTSP流的方法。首先需要下载64位Windows版FFmpeg并解压,然后通过命令行查询摄像头设备名称并测试画面。核心步骤是使用FFmpeg命令将摄像头视频流转为RTSP流,并提供了FFplay和VLC两种测试方法。文章还列出了常见问题解决方案,如设备找不到、延迟高和连接被拒绝等。这种快速搭建本地RTSP流的方法适用于视频

文章图片
#windows
使用vllm多节点多卡部署大模型

要在多节点多卡的环境中部署一个大模型,可以使用(Very Large Language Model)框架。vLLM 是一个高效的推理和服务框架,特别适合大规模语言模型的部署。

文章图片
#pytorch#语言模型
Sglang部署大模型常用参数详解

如果在服务过程中出现内存不足错误,请尝试通过设置较小的值来减少 KV 缓存池的内存使用量–mem-fraction-static。: 设置为true时,提供tokens给引擎并直接获取输出tokens,通常在RLHF中使用。: 使用的聊天模板。: 模型能够处理的token数量,包括输入的tokens。果在长提示的预填充过程中看到内存不足错误,请尝试设置较小的分块预填充大小。: 如果设置了此选项,则

文章图片
#sglang
使用vllm多节点多卡部署大模型

要在多节点多卡的环境中部署一个大模型,可以使用(Very Large Language Model)框架。vLLM 是一个高效的推理和服务框架,特别适合大规模语言模型的部署。

文章图片
#pytorch#语言模型
城市交通工具目标检测数据集自行车、公交车、小汽车、行人

数据集已划分好|可以直接使用|yolov5|v6|v7|v8|v9|v10通用;yolo格式数据集之交通工具检测5种;数据整理不易,下载地址点。

文章图片
#目标检测#人工智能#计算机视觉
全网最全sglang部署DeepSeek-R1-Distill-Qwen-14B/32B大模型

home/weights :存放权重文件,容器的home下被绑定。下面脚本中的ip_ad表示ip地址,比如10.101.21.10。进入容器,并切换到home目录下。

文章图片
#docker#容器#运维 +1
yolo格式数据集之地面道路病害检测4种数据集已划分好|可以直接使用|yolov5|v6|v7|v8|v9|v10通用

yolo格式数据集之地面道路病害检测4种数据集已划分好|可以直接使用|yolov5|v6|v7|v8|v9|v10通用。数据集获取地址在最后。

文章图片
15、pytorch张量基本操作、卷积池化介绍、简单神经cnn网络搭建和训练示例

第一章 pytorch介绍第二章 pytorch中张量的数据类型介绍第三章 pytorch张量的基本操作3.1 创建张量3.2 张量操作3.3 张量索引3.4. 自动求导第四章 PyTorch中卷积、池化、激活函数、全连接层介绍4.1 卷积层4.2 池化层4.3 激活函数4.4 全连接层第五章 pytorch中CNN网络搭建和训练示例PyTorch是一个基于Python的科学计算库,主要用于深度学

文章图片
#pytorch#cnn#网络
    共 11 条
  • 1
  • 2
  • 请选择