登录社区云,与社区用户共同成长
邀请您加入社区
本文主要探索 开源网络剪枝(结构化剪枝与稀疏化置零)技术在地平线 征程 5 上的可行性和有效性,涉及到的压缩方案,均不考虑硬件加速特性。 01 实验结果先解读 ## 表中涉及到结构化剪枝两种(ABCPruner_2020、HRankPlus_2020)、结构化稀疏两种(CHEX_2022、1XN_2022),从实验数据可以看出: 在分类任务中,在不使用数据增强、蒸馏、嫁接等主流且有效提升精度
环视4V解串器直接接到main域,mcu访问main域i2c、gpio、lpwm,对camera sensor、serdes以及lpwm进行初始化,完成环视的快速出图。
针对只使用过 Pytorch 在服务器上训练过一些分类、检测模型,没接触过 QAT 的小白,又不想读 PyTorch 官方文档,只想简单入个门,怎么办嘞?欢迎看看这篇文章
Occupancy可以更好的克服感知任务中存在的长尾问题,以及更加准确表达物体的几何形状信息
这个章节主要介绍了模型推理相关的API、数据、结构体、排布及对齐规则等
本文将介绍地平线基于公版的双目深度估计算法StereoNet做的优化设计。
在本文中,我们采用模仿学习来执行从 RGB 图像到路径规划的端到端规划,模仿人类驾驶轨迹。我们提出的端到端方法利用目标查询编码器来融合图像和目标特征,并使用基于 Transformer 的解码器自回归预测未来的航点。
在自动驾驶视觉感知系统中,为了获得环绕车辆范围的感知结果,通常需要融合多摄像头的感知结果。目前更加主流的感知架构则是选择在特征层面进行多摄像头融合。
骨架(或中轴线)具有在二进制形状和自然图像中提供紧凑而有意义的对象表示的潜力(以下简称为“形状”和“图像”),适用于图像表示和各种多媒体应用。在实践中,对象骨架通常以图形格式编码,即“骨架图”,以便于骨架修剪、匹配、分类和分析任务。
为了应对低、中、高阶智驾场景,以及当前 AI 模型在工业界的应用趋势,地平线推出了征程 6 系列芯片。
征程6 工具链目前已经提供了比较丰富的集成化工具和接口来支持模型的移植和量化部署,本帖将整理常用的工具/接口以及使用示例来供大家参考
高清地图是自动驾驶系统的重要组件,提供精确的驾驶环境信息和道路语义信息。传统离线地图构建方法成本高,维护复杂,使得依赖车载传感器的实时感知建图成为新趋势。
本文将带大家一起实现单路、多路 MIPI CSI TX 输出、IDU 回写、IDU oneshot 模式、绑定输出 VPS 数据等功能,此处主要介绍各 sample 的实现与使用方法。
至此,BEVFormer中的Encoder和Decoder部分的逐行代码解析就完成了,如果后续有需求也可以再出一期关于解析Loss计算的文档,这部分比较基础,有兴趣的同学也可以先结合源码自学。
这篇文章中,我们将首先介绍layerdetails中的参数信息,然后将结合实例分析如何利用layerdetails来分析模型的性能瓶颈,进而对模型的性能进行优化。
地平线 OpenExplorer 和 NVIDIA TensorRT 是两家公司为适配自己的硬件而开发的算法工具链,它们各自具有独特的特点和优势。分开看的时候,网上有很多资料,但却没找到将他们放在一起对比的文章,本文从 PTQ 通路进行对比介绍。
带大家快速上手 Sample-PYM
从上述config文件可以看出,6个相机输出的图像在前向传播过程中依次经过了’ResNet’、‘FPN’获得了图像特征,然后经过’BEVFormerHead’模块中的’BEVFormerEncoder’和’DetectionTransformerDecoder’完成了特征融合的全过程。其中’BEVFormerEncoder’包括前后级联的’TemporalSelfAttention’和’Spati
Codec(Coder-Decoder)是指编解码器,用于压缩或解压缩视频、图像、音频等媒体数据
首先介绍一下量化训练的原理。上图为单个神经元的计算,计算形式是加权求和,再经过非线性激活后得到输出,这个输出又可以作为下一个神经元的输入继续运输,所以神经网络的基础运算是矩阵的乘法。如果神经元的计算全部采用 float32 的形式,模型的内存占用和数据搬运都会很占资源。如果用 int8 替换 float32,内存的搬运效率能提高 75%,充分展示了量化的有效性。
在 征程6 开发平台中,仿真功能是通过地平线统一异构计算框架 HUCP(Horizon Unified Computing Platform)来实现的。
FlashOcc 在该领域做出了开创性的贡献,成功地以惊人的精度实现了实时 surround 视图 3D 占用预测。此外,在不同的车载平台上部署时表现出更强的通用性,因为它消除了对昂贵的体素级特征处理的需要,其中避免了视图变换器或 3D(可变形)卷积算子。如下图所示,FlashOcc 的输入为 6 张图像(前后视角+周视),输出是密集占用预测结果。2D 图像编码器:使用 ResNet50+FPN
本文将讲解基于DEB工具的包管理方式,并以管理Boyan.deb软件包为例,展示包的构建、在 征程6上的部署等内容。
需要用户了解的是后量化方式是基于几十或上百张校准数据实现的模型从浮点到定点转换过程,无论是数据的规模还是模型参数的表达宽度都与原始模型训练过程有很大的差距,精度损失在一定程度上是不可避免地。其中训练后量化 PTQ 是使用一批校准数据对训练好的模型进行校准,将训练过的FP32模型直接转换为定点计算的模型,过程中无需对原始模型进行任何训练。因为测试过程就是模型推理过程的真实在线,因此是对模型推理过程所
征程6 NV12理论与代码详解
本文档简单介绍Camera子系统软件架构、列出已支持的Camera模组,并提供相应的配置说明
一文了解地平线轨迹预测 QCNet
CAMA,即 Consistent and Accurate Map Annotation,是一种以视觉为中心的一致且准确地图标注方法。
本文的 demo sample 主要描述当前 camera 相关外设诊断的当前状态,并提供自定义实现的方法及使用说明。
2024年11月11-14日,第三十一届中国汽车工程学会年会暨展览会在中国重庆·科学会堂胜利召开。本届年会以“智能涌现,迈进加速变革新阶段”为主题,采用“会”“展”“赛”多种形式展开,注重需求牵引和学术引领,围绕行业重大创新需求策划核心议题,邀请知名科学家、技术领袖深度参与,并发布多项行业标志性、里程碑式科创成果。中国智能网联汽车产业创新联盟CAICV在此次盛会期间,举行了“智能网联汽车隐形冠军成
自动驾驶
——自动驾驶
联系我们(工作时间:8:30-22:00)
400-660-0108 kefu@csdn.net