logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

transformers库解析

外层循环 (Epoch): 控制对整个数据集的遍历次数。内层循环 (Update Step / Micro-batch)它是一个复合结构,服务于梯度累积。外半部分按“优化步”迭代,决定了的调用频率。内半部分按“micro-batch”迭代,执行实际的前向/反向传播,并将梯度累积起来。这种设计将数据迭代(epoch)、模型更新(update step)和梯度计算(micro-batch)清晰地分离开

#人工智能#机器学习#nlp +3
动态物体滤除算法

这类方法的基本假设是:如果一个激光点的光路穿过了另一个激光点,那么另一个激光点就是动态点。这个假设逻辑上完全说得通,但实现起来有两个问题:其一,入射角接近90度时的误杀问题,如下图所示,红色箭头指向的旧点因为与新点(五角星)光路很接近,会被误杀掉,考虑到一帧激光点云本身的角度误差、测距误差、光斑影响等,这种误杀会更严重。

#算法#计算机视觉#机器学习
GPU异构计算基础知识

GPU异构计算基础知识

文章图片
#c++
Matrix Trace

ATLet Aaij​∈Fn×n, where FAi1∑n​aii​n×n→F.trATtrA. Since (ATii​aii​ATi1∑n​aii​trA□trABtrAtrB.trABi1∑n​aii​bii​i1∑n​aii​i1∑n​bii​trAtrB□trλAλtrAλ∈F.trλAi。

#人工智能#机器学习#算法 +2
多模态视频理解领域 Benchmark 与 Leaderboard 整理

本文系统梳理了多模态视频理解领域的核心基准测试(Benchmark)和排行榜(Leaderboard),为研究者提供评估模型性能的参考框架。重点介绍了7个具有代表性的Benchmark,包括MMBench-Video、Video-MMMU等,涵盖通用视频理解、教育知识获取、3D空间推理等多样化任务。同时整理了4个主要Leaderboard,如OpenCompass司南榜单和SuperCLUE中文评

#算法#人工智能#计算机视觉 +1
大模型基础:Foundamentals of LLM

摘要: 自回归生成模型(如GPT)通过逐步预测序列元素(文字、像素等)实现内容生成,核心是Transformer解码器的掩码自注意力机制。其优势在于生成连贯性强,但受限于逐词生成的顺序性。为提升效率,LLM引入past_key_values缓存历史注意力计算结果(key/value),将计算复杂度从O(n²)降至O(n)。该技术与扩散模型形成互补(离散vs连续数据生成),共同推动生成式AI发展。

#机器学习#人工智能#算法 +2
SLAM基础:旋转向量与四元数

旋转的表示:旋转向量与四元数

文章图片
#线性代数#矩阵
到底了