logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

《第五篇》vLLM:让大语言模型推理更高效的新一代引擎 —— 原理详解

vLLM是加州大学伯克利分校开发的高性能大语言模型推理框架,通过创新的PagedAttention技术(类比操作系统内存分页机制)显著提升推理效率。它解决了传统框架显存占用高、批处理效率低等问题,支持LLaMA、Mistral等主流开源模型,吞吐量比Transformers提升2.6倍,显存降低32%。vLLM兼容HuggingFace API,适用于本地推理、实时问答系统等场景,但不支持闭源模型

#语言模型#人工智能#自然语言处理
GQA(Grouped Query Attention):分组注意力机制的原理与实践《二》

GQA 在保持多头 Query 精度的同时,大幅减少了 Key/Value 的计算和存储开销,适用于大规模模型(如 LLaMA 2/3、Qwen2 等)。

#人工智能#自然语言处理#深度学习 +1
《第一篇》大模型强化学习中的 PPO、DPO、KTO、ORPO 全解析

本文系统解析了大语言模型微调中的四种强化学习算法:PPO、DPO、KTO和ORPO。PPO通过约束策略更新实现稳定优化,DPO直接利用人类偏好数据避免奖励建模,KTO在DPO基础上加入KL正则项,ORPO则专注于离线数据训练。文章详细介绍了各算法的原理、数据格式、数学公式和简化实现,并对比了它们的适用场景和特点。这些方法为LLM优化提供了不同路径,从传统的在线策略优化到更高效的离线偏好学习,帮助开

#人工智能#机器学习#深度学习 +1
《第一篇》大模型强化学习中的 PPO、DPO、KTO、ORPO 全解析

本文系统解析了大语言模型微调中的四种强化学习算法:PPO、DPO、KTO和ORPO。PPO通过约束策略更新实现稳定优化,DPO直接利用人类偏好数据避免奖励建模,KTO在DPO基础上加入KL正则项,ORPO则专注于离线数据训练。文章详细介绍了各算法的原理、数据格式、数学公式和简化实现,并对比了它们的适用场景和特点。这些方法为LLM优化提供了不同路径,从传统的在线策略优化到更高效的离线偏好学习,帮助开

#人工智能#机器学习#深度学习 +1
一文掌握 YOLO 中的 IoU 演化:从 IoU 到 DIoU、CIoU、SIoU

摘要: 本文系统梳理了YOLO系列目标检测模型中IoU(交并比)指标的演进历程。从YOLOv1-v3仅使用传统IoU,到YOLOv4引入GIoU和DIoU,再到当前主流版本(v4-v8)默认采用CIoU Loss,通过增加中心点距离和宽高比惩罚项显著提升了检测精度。YOLOv6+/v8进一步引入DFL Loss建模边界框分布,结合Task-Aligned Assigner优化样本匹配。实验表明,C

#目标跟踪#人工智能#计算机视觉 +1
详解:YOLO 系列演进趋势

YOLO系列演进趋势与核心技术摘要: YOLO系列从v2到v11持续创新,核心演进方向包括:检测头从Anchor到Anchor-Free再到端到端无NMS;网络结构从浅层到深层残差、CSP、RepVGG等;正样本分配从静态IoU到动态匹配(SimOTA、匈牙利算法);训练策略从单任务到多任务统一。各版本突破性技术包括:v2引入Anchor机制,v3采用FPN多尺度检测,v4集成Mosaic增强和C

#计算机视觉#深度学习
YOLOv3 的 IoU 计算方式演进全解:IoU、GIoU、DIoU 到 CIoU

本文解析了YOLOv3中的IoU计算及其改进方法。YOLOv3原始论文使用传统的轴对齐矩形框IoU,但其开源实现Darknet支持GIoU、DIoU和CIoU等改进版本。这些改进通过配置文件启用,分别解决了无重叠框优化、中心点距离和宽高比等问题,在mAP性能上均有提升。GIoU对小目标检测效果更好,DIoU优化了边界框回归效率,CIoU综合性能最佳。IoU在YOLOv3中主要用于标签分配、损失函数

#目标跟踪#人工智能#计算机视觉 +1
YOLOv2 技术详解:目标检测的又一次飞跃

YOLOv2(YOLO9000)是目标检测领域的重要突破,在保持实时性的同时显著提升精度。其核心创新包括:引入Anchor Boxes提升边界框预测能力,采用多尺度训练增强模型鲁棒性,设计轻量级主干网络Darknet-19,以及通过联合训练COCO和ImageNet实现9000+类别检测。相比YOLOv1,mAP提升13.4%达到76.8,FPS增至67帧。但仍存在小物体检测不足、Anchor设计

#目标检测#人工智能#计算机视觉 +1
mysql中的窗口函数

请注意,窗口函数的使用可能会涉及到不同数据库管理系统的特定语法和支持程度。SUM(), AVG(), COUNT(), MAX(), MIN(): 计算某一列在窗口范围内的聚合值。DENSE_RANK(): 计算每一行的排名,相同值会有相同的排名,但没有跳过的排名。在这个查询中,使用了RANK()函数来计算每个员工的薪水排名,按照薪水降序排序。ROW_NUMBER(): 分配唯一的整数值给结果集中

文章图片
#mysql#数据库
《第一篇》大模型强化学习中的 PPO、DPO、KTO、ORPO 全解析

本文系统解析了大语言模型微调中的四种强化学习算法:PPO、DPO、KTO和ORPO。PPO通过约束策略更新实现稳定优化,DPO直接利用人类偏好数据避免奖励建模,KTO在DPO基础上加入KL正则项,ORPO则专注于离线数据训练。文章详细介绍了各算法的原理、数据格式、数学公式和简化实现,并对比了它们的适用场景和特点。这些方法为LLM优化提供了不同路径,从传统的在线策略优化到更高效的离线偏好学习,帮助开

#人工智能#机器学习#深度学习 +1
    共 24 条
  • 1
  • 2
  • 3
  • 请选择