登录社区云，与社区用户共同成长
邀请您加入社区
MassGrid致力于打造一个好用的分布式并行通用计算平台 ！ 通过MassGrid聚集散布在世界各地的闲置算力，建设起可动态升级的GPU通用算力集群，供给所有需要这些算力的个人或企业机构使用。那MassGrid将如何实现这个远大构想呢？MassGrid第一阶段目标MassGrid首先实现一个区块链p2p网络，基于1.0版本的跳变哈希算法，强制所有接入网络的节点使用GPU或CPU作为计算设备...
一年一度的双十一又㕛叒叕到了，朋友们的手和钱包还好吗？！在各大电商忙着掏空各位钱包的时候，今天超神经将为大家送上一份朴素而真诚的礼物，没有算到头秃的购物津贴，也没有愁到失眠的凑单满减。今天我们力争在这个原本属于光棍的平凡周一里，让数据科学工程师花最少的钱，用最多、最优质的算力！免费算力：按需配置，开箱即用我们将介绍以及发放的福利就是：算力！本次要介绍的合作伙伴 OpenBayes ，一...
场景化体验优化将重塑用户交互逻辑：针对医疗远程诊断、工业协同设计等垂直场景，PC 集群需深度适配终端设备能力（如平板触控交互、手机低功耗模式），依托跨系统兼容性打通协议壁垒（如 UOS 系统下的 3D 模型轻量化渲染、iOS 终端的低延迟编码），使远程访问 3D 模型、医疗影像的操作延迟低于 50ms，与本地设备体验差异缩小至 “无感”，真正实现 “终端无算力，体验无差别”，借由 “软件封装” 中
本文将带领入门读者了解CPU，GPU，FPGA，ASIC和异构计算的一些基本概念和优缺点，希望帮助入门者和爱好者建立基本的芯片概念人工智能有三要素：算法，计算力，数据。我们今天主要来讲讲计算力。计算力归根结底由底层芯片提供。按照计算芯片的组成方式，可以分成：同构计算： 使用相同类型指令集和体系架构的计算单元组成系统的计算方式。异构计算： 使用不同类型指令集和体系架构的计算单元组成系统的计算方式。常
OrionX专注于GPU服务化，通过创新的技术和灵活的服务模式，为用户提供了一种高效、可扩展且成本效益高的解决方案，它以其独特的GPU服务化理念，为用户提供了一个打造高质量算力基础设施的新选择，也为整个行业树立了一个高标准。：OrionX的算力池化技术实现了应用与算力的解耦合，使得应用部署更加灵活，不再受限于宿主机的算力类型，极大地提升了资源的利用效率和应用的可移植性。：OrionX将算力的使用模
大模型的出现使得AI芯片的需求暴增，但在这个市场，英伟达占据了近90%份额，其市值也曾超过3万亿美元。为什么英伟达能一家独大？尽管芯片市场上还有AMD等厂商，但在需要大规模算力集群的大模型预训练阶段，英伟达几乎是唯一一个接收过数万块GPU芯片性能运行验证与反馈的平台，这对其他芯片厂商来说存在非常高的门槛，当然，英伟达GPU软件栈在加速方面也具有优势。随着大模型推理需求大幅增长，开发者可以使用小规模
本文介绍了利用NVIDIA Nemotron构建的多智能体自我修正RAG系统，用于解决复杂日志分析的挑战。该系统通过混合检索、智能重排序、相关性评分和生成等核心组件，结合多智能体协同工作流，实现了从海量日志中自动提取关键洞察的能力。文章详细阐述了系统架构、关键技术及实现方法，并提供了快速上手指南。该系统能显著提升日志分析效率，将问题诊断时间从数小时缩短到数秒，适用于DevOps、网络安全等多个领域
本文介绍了如何利用NVIDIA Nemotron构建一个多智能体自我修正的RAG系统，用于解决复杂日志分析挑战。系统采用混合检索、智能重排序和相关性评分等技术，通过多智能体协同工作实现日志解析、查询修正和答案生成。文章详细阐述了系统架构、关键组件和实现方法，并提供了快速上手指南。该系统能显著提升日志分析效率，将问题诊断时间从数小时缩短至数秒，为开发运维团队提供有力支持。
GPU集群搭建指南 核心概念 GPU集群是将多台GPU服务器互联组成的计算系统，用于分布式训练大模型。典型架构包含： 1个管理节点（Master Node）负责任务调度 多个工作节点（Worker Node）执行计算任务 高速网络（InfiniBand/RoCE）实现节点间通信 共享存储系统存放数据和模型 硬件准备 建议配置： 每节点8张NVIDIA A100 80G显卡 AMD EPYC或Int
nvmath-python提供了对NVIDIA数学库的Python接口，使开发者能够利用GPU加速的数学运算，显著提高计算密集型应用的性能。这个库包含了多种优化的数学函数，特别适合于线性代数、统计分析和科学计算领域。
在日常项目开展过程中，对于大模型的私有化部署同样存在切实需求。基于此，我花费了一定时间，深入探究模型使用与GPU显卡配置之间的内在联系，并将研究所得整理记录下来。GPU显存容量的大小，在实际应用中起着关键作用。它不仅决定了能够运行模型的规模大小、运行速度（会对批处理规模以及序列长度产生影响），还关乎训练过程能否稳定进行。那么，该如何对其进行评估呢？这需要综合考量以下几个方面的因素：
在深度学习的世界里，模型越来越复杂，数据集规模不断膨胀，单块GPU的算力已经难以满足需求。多GPU训练作为一种高效解决方案，能够大幅提升训练速度，缩短实验周期。本文将带你深入剖析多GPU训练的核心技术原理、底层工作机制及具体实现细节，同时探讨分布式训练中那些容易被忽视的关键注意事项。如果这些问题处理不当，可能会让训练效率大打折扣，甚至导致过程不稳定。让我们一起揭开多GPU训练的神秘面纱！
vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。更多 vLLM 中文文档及教程可访问 →。
本文介绍了使用LoRA技术微调Stable Diffusion 3.5 FP8模型实现个性化风格生成的方法。LoRA通过冻结原模型参数、仅训练少量低秩矩阵，显著降低了训练成本，与FP8量化技术结合后进一步优化了显存占用和训练速度。文章详细阐述了LoRA的工作原理、环境搭建要求，并以二次元风格生成为例，展示了从数据集准备到模型训练的全流程。该方法在消费级GPU上即可实现高效定制化生成，平衡了训练效率
本文深入探讨了NVIDIA硬件一致性平台(GH200/GB200/GB300)的两种内存管理模式：NUMA和CDMM。NUMA作为默认模式统一管理CPU和GPU内存，但可能导致GPU显存被非计算任务占用，在Kubernetes环境中引发资源隔离问题。CDMM模式则通过驱动直接管理GPU内存，避免系统干扰，特别适合Kubernetes部署和需要精确内存控制的场景。文章详细对比了两种模式的特点、适用场
本文详细解析了大模型在GPU上的运行原理，重点介绍了计算图、并行策略、内存管理和内核优化等关键技术。大模型基于Transformer架构，依赖GPU的高效计算能力，通过计算图和自动微分系统实现前向和反向传播。为应对大规模参数，采用了数据并行、模型并行、流水线并行和张量并行等策略。内存管理方面，使用激活重计算、混合精度训练等技术优化资源利用。内核优化和通信优化则通过CUDA库、内核融合、NCCL通信
DeepSeek 是一个开源的大模型系列，包含 DeepSeek-R1、DeepSeek-MoE 等多个模型，支持文本生成、对话交互等功能。
当ChatGPT掀起全球AI革命时，英伟达的市值已超越沙特阿美，成为人类商业史上首个突破2万亿美元的半导体企业。这场由生成式AI驱动的算力军备竞赛中，《英伟达之道》恰似一把解码器，揭示着科技巨头崛起的底层逻辑，也映照着当下AI狂潮的深层矛盾。
限制：二者的乘积，必须等于模型并行（不是指moe_tp_size，而是整个模型的tp_size)的卡数。moe_ep_size:按照Expert切分，每个GPU有用一部分Expert的所有权重。moe_tp_size：按照维度切分，每个GPU拥有所有Expert的一部分权重。二者可以搭配一起使用。
与现有 PP 方法相比，DualPipe 的流水线气泡（译者注：指的是在流水线并行处理中，由于阶段之间未能完全紧密衔接而出现的空闲等待时间，是影响大规模分布式训练效率的关键瓶颈之一。我们今天为大家带来的文章，作者的核心观点是：现代 AI 训练系统必须通过严格区分前端与后端网络，并针对数据并行、流水线并行和专家并行等不同通信模式进行协同优化，才能有效应对日益复杂的网络拥塞与延迟问题。通过算法、框架与
NVIDIA CUDA-QX 0.4平台为量子纠错（QEC）研究提供革命性解决方案，通过集成GPU加速显著提升工作流效率。该版本实现了从代码定义、含噪模拟到校验子解码的全流程自动化，其中关键创新包括：1）一键式生成高保真度探测器错误模型（DEM），消除传统手动流程的瓶颈；2）基于cuQuantum SDK的GPU加速张量网络解码器，在保持最佳精度的同时实现数量级性能提升。平台通过统一API简化了Q
每个SM block上的Q，负责和所有K和所有V进行计算，得到对应的结果。但是，在decoding阶段，因为Query的seqLength=1，且batchSize=1，因此SM block数目无法都利用上。缺点：最后需要将不同SM block上的中间结果，进行通信，进行归一化的softmax和结果Reduce。在prefill阶段，seqLength*batchSize*Heads足够多，所以每
AgentIQ 采用模块化架构，将代理、工具和工作流抽象为函数，实现高度的可组合性和可重用性。函数（Functions）：AgentIQ 中的基本构建块，可以是工具、代理或工作流。每个函数都有明确定义的输入和输出，使其可以轻松组合。工作流（Workflows）：定义代理如何使用工具和与用户交互的流程。AgentIQ 支持多种工作流类型，包括 ReAct、函数调用和自定义工作流。语言模型（LLMs）
大家有没有这样的疑问，为什么大模型训练需要的是GPU，而不是CPU，而现在市面上，有哪些适合训练的GPU型号，价格如何？下面让我来一一给大家进行介绍。总的来说，选择GPU而非CPU进行大型模型训练主要是因为GPU在和针对机器学习任务的优化方面的优势。这使得GPU成为训练复杂和大规模机器学习模型的首选硬件。：GPU拥有成千上万个较小、更专用的核心，这使得它们能够同时处理多个任务。这种并行处理能力使G
NVIDIA研究院在机器人学习领域取得了三项突破性的神经网络创新，并于CoRL 2025上隆重推出，统称为**R²D² (NVIDIA Robotics Research and Development Digest)**
使用pytorch训练模型时，代码中有一行笔者的环境是：cuda版本：/usr/local/cuda下的cuda版本为11.6GPU：4090nvidia驱动版本：535.161。
随着像NVIDIA GB200 NVL72这样的先进多节点GPU架构开始推动高性能AI基础设施的极限，Kubernetes需要能够理解和管理这些现代GPU系统拓扑的抽象。ComputeDomains通过将NVLink和IMEX域等底层结构与Kubernetes原生调度和DRA连接起来，应对了这一挑战。ComputeDomains随着工作负载在集群中移动，动态地形成、管理和拆除IMEX域，从而实现安
大模型在GPU上的运行原理涉及复杂的硬件架构协同优化。本文深入解析了GPU与CPU的核心差异，重点剖析了NVIDIA GPU的多层级架构（包括SM、Tensor Core和HBM内存），并详细阐述了大模型参数在显存中的布局策略。通过矩阵乘法和注意力机制的CUDA实现示例，展示了如何利用GPU的并行计算特性实现高效推理。关键点包括：1) GPU的数千计算核心适合并行计算；2) HBM高带宽内存满足大
本文记录了在AutoDL云服务器上搭建Neo4j图数据库的完整过程。作者详细介绍了从安装Java环境、下载对应版本的Neo4j安装包，到配置远程连接和内存参数的完整步骤。重点分享了在Linux系统下的配置技巧，包括环境变量设置、配置文件修改、端口开放等关键操作，并提供了解决Windows本地连接云服务器Neo4j的具体方法。文章最后提到完成环境配置后即可开始编写代码，并给出了连接Neo4j的URL
GPU
——GPU
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
九章云极普惠算力
火山引擎 ADG 社区
2048 AI社区
