logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

如何将confluence页面的内容保存为markdown格式

本文介绍了如何将confluence页面的内容保存为markdown格式。

文章图片
pytorch 演示 tensor并行

本文演示了tensor并行的原理。如何将二个mlp切分到多张GPU上分别计算自己的分块,最后做一次reduce。1.为了避免中间数据产生集合通信,A矩阵只能按列切分,算出全部batch*seqlen的部分feature2.因上面的步骤每张GPU只有部分feature,B矩阵可按行切分,与之进行矩阵乘,生成部分和3.最后累加每张GPU上的部分和,即最终的结果以下demo,先运行非分块的版本,然后模拟

文章图片
#pytorch#人工智能#python
pytorch演示pipeline并行

单卡内存不够时,可以将网络切分成几段(stage),每个GPU负责一个stage。比如GPU0计算完之后将数据发送给GPU1算后续的stage;以上的方式,会导致GPU的利用率不高,可以将输入的batch切分成多份更小的batch,陆续送给GPU0,这样GPU0处理完micro batch0之后 可以处理micro batch1.如此便能提高GPU的利用率。

文章图片
#pytorch#人工智能#python
使用onnxruntime c++ API实现yolov5m视频检测

本文演示了yolov5m从模型导出到onnxruntime推理的过程

文章图片
AI 大模型请求监控工具

<think>我们只需要根据内容生成一个≤150字的摘要。注意是“根据内容生成≤150字的文章摘要”,摘要应当概括工具的功能和原理。要简洁,提取核心要点。</think>一套 LLM API 流量监控工具,通过 mitmproxy 中间人代理拦截 HTTPS 请求,将完整请求/响应存入 MongoDB;Flask 后端增量拉取数据,前端 ECharts 展示实时流量曲线,支持缩放回放;点击数据点可

文章图片
#人工智能
修改ModelLink在RTX3090完成预训练、微调、推理、评估以及TRT-LLM转换、推理、性能测试

背景:因为没有华为的训练卡,又想跑ModelLink,顺便熟悉LLM从训练到部署的完全过程,记录备用。

文章图片
测试cuda-gdb调试某个线程,是否会影响其它线程

测试cuda-gdb调试某个线程,是否会影响其它线程。

文章图片
#GPU#性能优化
cuda block之间的同步测试

本文测试了cuda block之间的同步行为。

文章图片
#性能优化#GPU
相机与激光雷达联合标定:如何选择高辨识度的参照物

摘要: 相机与激光雷达联合标定是多传感器融合的关键环节。研究发现,不同材料的反射特性对标定效果影响显著:镜面反射(如梳妆镜)因回波不稳定几乎不可用,漫反射(如白墙)效果一般,而回归反射材料(如反光车牌、交通锥条纹)在点云中会形成高亮度、稳定的特征点簇,显著提升标定精度。建议选用红白反光胶带、警示标识等回归反射材料制作标定板,通过其独特的微棱镜结构实现精准特征匹配,从而优化标定流程与结果。该方案将光

文章图片
#自动驾驶
基于纯净的Docker环境编译libwebrtc

摘要: 本文详细介绍了在纯净Docker环境中编译libwebrtc的完整流程。通过创建Ubuntu 20.04容器,配置代理和工具链,获取WebRTC源码及依赖库,最终生成定制化的libwebrtc.so。关键步骤包括:使用depot_tools同步代码、打补丁适配定制需求、通过GN配置构建参数(如启用H.264编解码)、利用Ninja完成编译,并验证生成的可执行文件。该方法解决了官方预编译库的

文章图片
#音视频
    共 64 条
  • 1
  • 2
  • 3
  • 7
  • 请选择