logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

源码编译 METIS 以及 GKlib 在Linux ubuntu上

源码构建了 GKlib 的 openmp 版本,以便充分使用多核的算力;测试GKlib的方式是编译 METIS;

文章图片
全文 - Jet-Nemotron: Efficient Language Model with Post Neural Architecture Search

通过机器学习,训练出能够找到最优的 LLM 网络结构的超模型。摘要:我们推出了 Jet-Nemotron,一个新的混合架构语言模型系列,它在匹配或超越领先的全注意力模型精度的同时,显著提高了生成吞吐量。Jet-Nemotron 是使用后神经架构搜索(PostNAS)开发的,这是一种新颖的神经架构探索流程,能够实现高效的模型设计。与先前方法不同,PostNAS 从一个预训练的全注意力模型开始,并冻结

#语言模型#人工智能#自然语言处理
全文 - ATLAHS: An Application-centric Network Simulator Toolchain for AI, HPC, and Distributed Storage

网络模拟器在评估大规模系统性能方面发挥着至关重要的作用。然而,现有的模拟器严重依赖合成的微基准测试,或仅狭隘地关注特定领域,限制了其提供全面性能洞察的能力。本工作中,我们介绍了ATLAHS,一个灵活、可扩展且开源的工具链,旨在追踪真实世界的应用程序并精确模拟其工作负载。ATLAHS利用GOAL格式来建模AI、HPC及分布式存储应用中的通信和计算模式。它支持多种网络模拟后端,并能处理多任务和多租户场

#人工智能
ubuntu 20.04 安装使用 nvidia gdrcopy

首先安装 nvidia display driver ,cuda toolkit其次安装依赖工具。

文章图片
#ubuntu
nvidia 显卡硬件文档手册

https://github.com/NVIDIA/open-gpu-doc

cudaMemcpy(Ah, Ad, 1024, D2H) 的执行细节

虚拟地址问题GPU不直接使用Ah这个CPU虚拟地址。驱动程序通过锁定内存和IOMMU映射,将Ah转换为稳定的物理地址,再为GPU提供一个它能够理解的IOVA。Copy Engine角色它是一个高度专业化的DMA控制器,独立于GPU的3D/Compute核心,专门负责在设备与主机之间高效地搬运数据。数据流Ad->->PCIe->GPU GMMU->系统IOMMU->内存控制器->Ah对应的物理内存。

全文分析 e-GPU -- An Open-Source and Configurable RISC-V Graphic Processing Unit for TinyAI Applications

tiny gpu:skybox:ventus gpgpu:vortex gpgpu:virgo gpu:e-GPU:一个用于 TinyAI 应用的开源可配置 RISC-V 图形处理单元图形处理单元(GPU)擅长并行处理,但由于其功耗和面积限制,以及缺乏合适的编程框架,在超低功耗边缘设备(TinyAI)中仍未得到充分探索。为了应对这些挑战,本工作介绍了嵌入式 GPU(e-GPU),一个专为 Tiny

#risc-v
高性能网络的网络拓扑介绍:nd-Mesh、Torus、Clos

特性nd-mesh(n维网格)Clos Network(叶脊网络)Torus(环面)核心形象城市的街道网格公司的汇报层级(全员互联)魔方(每个面首尾相连)对称性差好(逻辑对称)极好(物理对称)对分带宽低极高中到高扩展性中等极佳中等典型领域早期超算、片上网络现代数据中心/云高性能计算设计哲学简单、规整、成本可控无阻塞、高带宽、弹性扩展均匀延迟、高容错、高效通信。

Blackwell 和 Hopper 架构的 GPGPU 新功能全面综述

Blackwell 和 Hopper 架构通过 TMA、集群共享内存、增强的 FP8 支持等功能,显著提升了 GPU 的计算能力和效率。这些新特性特别适合现代 AI 和高性能计算工作负载,能够提供更高的性能和能效比。开发者可以通过合理利用这些新功能来优化现有应用程序或开发新的高性能计算解决方案。请注意,要运行这些示例代码,需要:支持 Hopper 或 Blackwell 架构的 GPUCUDA 1

#架构
节点内 cuda GPU 之间 P2P IPC 通信的硬件机制参考

CPU 是协调者,通过 PCIe 配置空间管理 GPU,更新 IOMMU 页表;GPU 是具体执行者,执行 DMA 传输,处理内存访问请求;则扮演了交通枢纽,路由 PCIe 事务,执行地址转换;起到本地交换机的作用,在 GPU 间直接路由数据包;IOMMU起到了安全网关的作用,提供地址转换和内存保护;这种硬件协作使得即使在没有直接 P2P 连接的情况下,也能实现相对高效的 GPU 间数据传输,虽然

#p2p#网络协议
    共 96 条
  • 1
  • 2
  • 3
  • 10
  • 请选择