logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

HCCL 集合通信:支撑千亿级参数模型分布式训练的关键技术

HCCL 集合通信库是昇腾CANN生态中实现大规模模型分布式训练的基石。通过深度集成昇腾硬件特性,提供优化的集合通信原语,并采用先进的算法(如优化的 Ring AllReduce),HCCL 极大地降低了分布式训练的通信开销,为千亿级参数模型的训练提供了坚实的技术保障。开发者可以通过关注上的 CANN 组织和仓库,深入了解和贡献于这一关键技术栈,共同推动昇腾平台在超大规模AI计算领域的应用。HCC

#分布式
深度解读 HCCL:集合通信中的冲突规避策略与路径规划算法

HCCL 的强大之处在于它不仅仅是一个通信协议的集合,而是一套深植于CANN架构之中的智能调度系统。通过对硬件拓扑的深度感知、层次化通信的设计以及动态路径规划算法,HCCL 成功解决了大规模分布式训练中的通信瓶颈问题。对于开发者而言,深入研究hccl 仓库的实现,不仅能提升对底层通信原理的理解,更能帮助我们在构建复杂分布式模型时,针对特定的网络环境进行性能优化。更多关于昇腾计算架构的技术细节,请访

#算法
Profiler 工具深度实践:精准定位大模型训练瓶颈

昇腾 Profiler 是大模型训练性能调优中不可或缺的“手术刀”。通过深入理解其基于硬件计数器和软件栈插桩的工作原理,并结合CANN 组织提供的工具链,架构师可以从宏观的整体调度到微观的单个指令周期,实现对性能瓶颈的精确诊断。成功的大模型优化,从来不是盲目地调整超参数,而是依赖于 Profiler 提供的硬核数据支撑,指导我们对计算、内存和通信进行系统性的、有针对性的改进。持续深入实践 Prof

#人工智能
鸿蒙PC终端环境全面调优:从Bash到Zsh的性能优化方案

今天,我就分享自己花了两周时间,在鸿蒙PC上将终端环境从基础的Bash全面升级到高度定制的Zsh的完整过程。大家好,从最早的Windows cmd,到后来的Cygwin,再到macOS的Terminal,直到现在遇到了鸿蒙PC。说实话,当我第一次打开鸿蒙PC的终端时,那种既熟悉又陌生的感觉让我知道——是时候动手调教一番了。最让我惊喜的是,经过优化的Zsh环境,在鸿蒙PC上的表现甚至比我在某些Lin

#java#算法#开发语言 +2
在鸿蒙PC上搭建多语言开发环境:Java/Python/Go/Rust配置指南

本文详细介绍了在鸿蒙PC上配置多语言开发环境的完整过程,涵盖Java、Python、Go和Rust四种主流语言的安装与测试。作者首先阐述了鸿蒙PC的软件生态特点,重点介绍了HPM包管理器的使用方法。针对每种语言,文章提供了详细的安装步骤、环境变量配置方法以及测试用例,确保读者能够快速搭建完整的开发环境。此外,作者还分享了环境配置自动化脚本,并总结了实际配置过程中的实用建议,包括包管理器选择、环境隔

#harmonyos#java#python
虚拟机体验:在Windows/Mac上运行鸿蒙PC开发环境

大家好。最近鸿蒙PC的消息越来越多,身边不少朋友都在讨论这个新平台。说实话,我也挺好奇的——鸿蒙的桌面端到底长什么样?开发体验如何?作为一个日常用Windows的开发者,要不要专门搞一台鸿蒙设备来尝鲜?今天我想分享的,就是我在不购买新硬件、不安装虚拟机的情况下,在Windows上零成本体验鸿蒙PC开发环境的完整过程。这个方法特别适合像我们这样想要“先试试水”的开发者。鸿蒙PC已经提供了一个相当完整

#windows#macos#harmonyos
鸿蒙PC网络环境配置:代理设置、防火墙与开发服务器部署

在鸿蒙PC上配置网络环境,是一个从陌生到熟悉的过程。一开始可能会遇到各种问题,但只要掌握了正确的方法,就能游刃有余。关键是要理解每个配置的作用:代理让我们能访问外部资源,防火墙保护我们的系统安全,合理的服务器配置让开发工作更加顺畅。这三者需要平衡,既不能过于宽松导致安全风险,也不能过于严格影响开发效率。我建议你将配置文档化,记录下每个有效的配置。这样当遇到类似问题时,就能快速找到解决方案。同时,定

#harmonyos#网络#服务器
数据搬运的基石:深入理解LocalTensor与DataCopy

上一篇文章,我们理清了GM、LM和Register的“三国演义”,知道了要把数据从全局内存(GM)搬到本地内存(LM)才能高效计算。太大,会挤占其他数据所需的LM空间,可能影响并发。开头和结尾的几个元素,与Host侧准备的输入数据进行比较,确保数据被完整、正确地搬运到了LM中。在训练营的下一课,我们将探索如何让数据搬运和计算“齐头并进”,那将是又一次性能的飞跃。的“码力全开特辑”中,我终于明白,我

#python#django
Tensor切分的艺术:以一维Copy算子理解Tiling概念

今天,就让我们从这个最简单的Copy算子出发,深入探索Tiling——这个贯穿所有Ascend C算子设计的核心概念。在CANN训练营里,当我还在为ReduceSum的多核优化绞尽脑汁时,导师却布置了一个看似"小儿科"的任务:“请实现一个一维Copy算子,把输入Tensor原封不动地复制到输出。在CANN训练营的后续课程中,无论是复杂的卷积神经网络算子,还是Transformer中的自注意力机制,

#python#django#算法 +2
Element-Wise算子模板:一套代码实现加、减、乘、除

在训练营的进阶课程中,我们将把这种思维应用到更复杂的场景:如何设计通用的Reduce模板、卷积模板、甚至自定义的融合算子模板。回想这次Element-Wise模板的实践,我完成的不仅仅是一套技术方案,更是一次编程思维的升级。它在Ascend C算子开发中的成功应用,证明了好的软件设计原则是跨领域、跨平台的。,像搭积木一样快速生成所有Element-Wise算子,体验从"工匠"到"架构师"的思维跃迁

#java#算法#开发语言
    共 49 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择