登录社区云，与社区用户共同成长
邀请您加入社区
当AI模型步入十万亿参数时代，通信效率的毫秒级优化等同于算力翻倍。GPUDirect RDMA不仅是一项技术优化，更代表着从“以计算为中心”到“数据流为中心”的范式转移。拓扑感知：理解硬件拓扑实现传输路径最短化动态适配：根据网络状态实时调整传输策略安全内生：构建不牺牲性能的加密通道最终性能法则：当通信延迟逼近硬件极限时，算法重构的价值远超技术调优——因为最好的通信是无需通信。
设置运行cuda程序的计算功能集最低版本例如1.1版本，编译参数nvcc -arch=sm_11例如1.2版本，编译参数nvcc -arch=sm_12原子操作在CPU中，若两个线程对同一变量同时进行操作，可能导致结果不正确。原子操作保证多线程一次操作一个变量。GPU中也如此GPU中启动的线程块为处理器数量的两倍时，效率最佳。原子操作函数均以atomic开头cudaHostAlloc() 分配页锁
【代码】国内加速 docker pull 下载 docker images，特别是 nvidia 的cuda image。
8月20日，在2026世界机器人大会「AI 物理智能体的进化：从数字大脑到高危复杂现场作业」高峰论坛上，芯展速董事长兼CEO孙丹与清华大学刘玉身教授、宇树科技联合创始人陈立、中国电机工程学会会士蒲天骄、广东省机器人协会执行会长任玉桐等行业权威同台对话，围绕具身智能从实验室走向真实产业现场的核心命题展开深度讨论。
8月20日，Cloudera 宣布Cloudera Data Engineering 现已依托 NVIDIA CUDA-X 库 cuDF，原生支持 Apache Spark 4.1的 GPU 加速。NVIDIA cuDF Apache Spark 插件将支持刚刚发布的 Cloudera Anywhere Cloud™，后者旨在帮助企业无需重写现有 PySpark 或 SQL 代码，即可加速 Sp
本文是《AI云原生30篇》系列终章，前瞻未来3-5年AI云原生技术趋势。核心观点包括：1）算力革命：GPUServerless将实现按token计费，Modal/Replicate等平台将重塑资源使用模式；2）边缘智能：云端训练+边缘推理成为主流，手机端LLM和协同推理技术快速发展；3）操作系统化：LLMOS将统一调度千亿级模型资源，实现智能路由和成本优化；4）多模态Agent集群崛起，具备复杂任
你可能会想：能不能做一颗芯片，既有训练芯片的高精度、高带宽，又有推理芯片的低功耗、低成本？答案是不能两全，这是架构层面的本质取舍。一颗芯片的晶体管预算、功耗预算、硅面积预算都是有限的。你把预算投给高精度浮点单元，就没有余量去压功耗；你把预算投给低功耗整数单元，训练时精度就顶不住。高精度浮点单元和低精度整数单元，在晶体管预算上是竞争关系。你把浮点单元堆满，功耗就下不来；你把整数单元做主力，训练精度就
本文提供了一份详尽的PyTorch GPU版安装指南，重点解决CUDA与Python版本冲突的核心难题。文章从理解Python、PyTorch与CUDA的版本耦合关系入手，通过官方版本匹配查询，指导用户在不同场景下（如全新安装、项目升级、系统已有CUDA）进行正确配置，并给出深入的验证方法与故障排查步骤，确保GPU环境稳定可用。
本文介绍了在星图GPU平台上自动化部署VideoAgentTrek-ScreenFilter镜像，并对其性能进行基准测试。通过对比不同GPU型号与批处理大小，文章分析了该模型在视频内容过滤场景下的推理速度与显存占用，为实际应用中的硬件选型与参数调优提供了数据参考。
此次 WAIC 2026 之行，GMI Cloud 充分展示了其在 AI 基础设施领域的全栈硬实力与全球化视野，通过与全球行业伙伴的深度交流与联合生态展示，全面彰显了其作为全球智算基建领航者的全局实力与深厚底蕴。
AI智能体接入EDA工具后，新增负载并不只在GPU。本文按逻辑仿真、并行回归、本地大模型和多物理场等任务拆解CPU、GPU、内存、NVMe与共享存储的配置逻辑，并给出PoC指标。
3、CUDA C/C++ ---->Device----->Code Generatio改 compute_52,sm_52;2、*.cu文件右键-----> 属性-----> 配置属性-----> 常规-----> 项类型 改为 cuda c/c++;1、项目-----> 生成依赖项----->生成自定义，勾选cuda；
本文提供了一份在华为云CentOS 7服务器上部署Ollama GPU版的详细指南。内容涵盖Docker 23.0.6的精准安装与配置、NVIDIA容器运行时集成、Ollama GPU容器的部署与模型拉取，以及Open WebUI管理界面的搭建，旨在帮助开发者在云端快速构建稳定、可用的私有AI模型服务环境。
本文详细介绍了如何为嵌入式ARM平台定制glmark2 GPU性能基准测试套件，从源码移植到构建系统改造，再到平台特定适配技巧和性能优化建议。通过实战案例，帮助开发者解决移植过程中的常见问题，如EGL初始化失败、动态库缺失等，并提供了自动化测试集成方案和性能分析工具的使用方法。
本文详细对比了PyCharm专业版、VSCode Remote-SSH和网页端Jupyter Notebook三种远程连接GPU云服务器的配置方案与性能表现，帮助深度学习开发者根据项目需求选择最优工具组合。文章涵盖从基础配置到高级技巧的全方位指导，特别针对GPU资源利用和开发效率优化提供了实用建议。
AI基础设施（AI Infra）面临模型架构复杂化、全模态演进与异构算力管理的核心挑战。多模态模型需分阶段调优，通信优化仍有20%空间；异构算力因国产芯片差异导致一致性难题，需依赖CPU绕行或手写算子。Kubernetes调度通过哈密项目实现GPU虚拟化扩展，但DI方案表达能力有限。AI Agent激增带来存储与运行时压力，而开源生态因马太效应加速工具收敛。未来AI可能接管Infra实现，但需人工
以下从开源内容/开源程度和第三方硬件算力公司接入方式两个维度，对 NVIDIA Agent Toolkit 进行系统性说明。维度实际情况开源程度代码完全开源（Apache 2.0），模型权重开放（OML），社区活跃；但生产级 NIM 和硬件加速库有商业/硬件绑定。第三方硬件接入可行性高。通过架构，任何支持 OpenAI-compatible API 的推理后端均可接入。接入最佳实践AMD/Inte
graph TDA["多模态 AI 应用"] --> B["API Gateway<br/>请求路由"]B --> C["图像理解<br/>InternVL/BLIP-2"]B --> D["文本生成<br/>Qwen2/LLaMA"]B --> E["视频分析<br/>Video-LLaVA"]C --> F["Seldon Core<br/>融合推理"]D --> FE --> FF -->
DOCA 框架提供了一套完整的软件套件，包含驱动程序、库、工具以及底层软件，用于与硬件设备及 BlueField 随附的默认操作系统进行交互。DOCA-Host和。组成部分说明DOCA SDK使开发者能够在 NVIDIA® BlueField® 网络平台上快速构建应用程序和服务，充分发挥业界标准 API 以及 NVIDIA BlueField DPU 和 SuperNIC 的强大能力。DOCA S
2月11日，智谱正式发布新一代大模型GLM-5。摩尔线程基于SGLang推理框架，在旗舰级AI训推一体全功能GPU MTT S5000上，Day-0完成了全流程适配与验证。
优刻得长期战略合作伙伴智谱最新发布的GLM-5，正是这一阶段跃迁的代表之作：在Coding与Agent能力上实现开源SOTA，在真实编程场景中的使用体验已逼近Claude Opus 4.5，尤其擅长复杂系统工程与长程Agent任务。在内部Claude Code评估集合中，GLM-5在前端、后端、长程任务等编程开发任务上显著超越GLM-4.7（平均增幅超过 20%），能够以极少的人工干预自主完成 A
本文提供了一份详细的GPU算力平台实战指南，从零开始部署ChatGLM4大模型。涵盖资源选型、环境配置、模型下载、WebDemo搭建及性能优化等关键步骤，特别分享了量化部署和缓存优化技巧，帮助开发者高效利用GPU算力平台运行大模型。
本文详细介绍了如何在GPU云主机上从零部署Llama3大模型的完整指南，涵盖云主机选型、环境配置、模型加载和推理服务部署等关键步骤。通过实战案例和性能优化技巧，帮助开发者高效利用GPU算力平台，显著提升大模型部署效率。
本文详细介绍了ChatGLM4企业级Kubernetes部署实战，重点探讨如何通过弹性伸缩与成本优化策略提升GPU资源利用率。文章涵盖智能调度、混合精度训练、动态批处理等关键技术，帮助企业将GPU利用率提升至63%，同时降低运营成本40-60%。适用于金融、电商等行业的大模型生产部署场景。
本文详细介绍了在华为云CentOS 7.X服务器上高效部署Ollama GPU版的Docker实践。从基础环境配置、GPU驱动与CUDA工具链安装，到Docker环境搭建与GPU支持，再到Ollama容器化部署实战，提供了完整的操作指南和性能优化建议，帮助开发者快速实现AI模型的高效运行。
本文详细介绍了如何通过INT4量化技术解决大模型推理时的显存不足问题，特别是在Qwen1.5-110B模型上的实践。通过对比RTX 4090与A30的性能表现，展示了量化技术在显存优化和计算效率上的显著优势，帮助开发者在有限的计算资源下高效运行超大规模语言模型。
这篇是给“要把推理跑到多机多卡，还想把成本压下去”的工程师看的 Dynamo 入门到实操。先把它和 Dynamo-Triton 的关系说清，再把四大组件（Planner、Smart Router、KV Cache Manager、NIXL）逐一拆开，解释为什么“**解耦 prefill 与 decode**”能让吞吐上去。然后给出**最小复现**：本机一条命令起前端 + SGLang 后端，cur
在人工智能工程化实践中，GPU作为核心计算硬件，其选型、环境配置与性能优化是模型部署的基础。从PyTorch、TensorFlow等深度学习框架的GPU版本安装与环境依赖管理，到利用TensorRT、ONNX Runtime进行推理加速，构成了确保AI应用“跑得动”的技术闭环。这些技术不仅关乎单次推理的延迟与吞吐，更直接影响复杂AI Agent任务链的端到端性能与稳定性。随着企业将AI Agent
4月12日，摩尔线程旗舰级AI训推一体全功能GPU MTT S5000已完成对新一代大模型MiniMax M2.7的Day-0极速适配，再次验证了国产全功能GPU对前沿AI大模型的快速响应与稳定支撑能力。
本文详细介绍了如何利用Kaggle平台的免费GPU资源训练YOLOv11模型，从环境准备、数据集上传到模型训练和下载的全流程。提供了实用的配置建议、常见问题解决方案和性能评估指标，帮助开发者高效完成自定义数据集的模型训练任务。
本文详细介绍了如何利用Google Colab免费GPU资源运行AI模型，特别适合预算有限的开发者。从基础配置到高级技巧，包括如何稳定获取T4/P100等优质GPU资源，手把手教你快速上手MNIST手写数字识别项目，并分享数据持久化、大型数据集处理等实战经验。
本文详细介绍了如何利用Kaggle免费GPU资源高效运行机器学习模型，解决个人开发者面临的硬件限制问题。通过实战指南和效率优化技巧，帮助用户从零搭建Kaggle工作流，包括环境准备、数据上传、Notebook配置等关键步骤，并分享高效使用GPU的五个实战策略，大幅提升模型训练速度。
本文详细解析了PyTorch GPU环境配置中常见的CUDA版本冲突及‘torch.cuda.is_available()‘返回False的问题，提供了从诊断准备到版本冲突、环境隔离、驱动问题、cuDNN验证、硬件限制及终极验证的7种实战解法，帮助开发者高效排查并解决GPU配置难题。
本文详细介绍了如何在Auto DL平台上通过Jupyter网页终端实现免SSH的GPU服务器操作，从环境配置到模型部署的全流程避坑指南。涵盖基础镜像选择、依赖冲突解决、文件管理优化、模型训练监控等实用技巧，帮助开发者高效利用GPU资源，提升深度学习项目开发效率。
本文深入解析了PyTorch多GPU训练的启动机制，重点介绍了使用`torch.distributed.launch`的正确姿势，包括环境变量设置、分布式训练核心概念及常见问题解决方案。通过实战案例，帮助开发者高效迁移单卡训练到多GPU环境，提升模型训练效率。
本文详细介绍了如何使用Docker一键部署PyTorch-GPU开发环境，解决CUDA版本冲突、cuDNN不匹配等常见问题。通过Docker容器技术，实现环境一致性、秒级回滚和资源隔离，大幅提升开发效率。文章包含基础环境搭建、开发配置实战、性能调优及生产环境部署方案，助你告别环境配置噩梦。
本文详细介绍了在Windows系统下使用Conda环境精准部署PyTorch-GPU的完整指南，包括版本对齐、CUDA验证及常见问题解决方案。通过四步法确保CUDA驱动与cudatoolkit版本匹配，避免安装CPU版的常见错误，并提供性能调优技巧，帮助开发者高效配置深度学习环境。
本文详细解析了PyTorch GPU环境配置中的常见问题，包括CUDA版本冲突、conda/pip源切换等实战经验。通过系统诊断、版本匹配和虚拟环境优化，帮助开发者快速解决`torch.cuda.is_available()`返回False的问题，确保深度学习项目高效运行。
GPU
——GPU
联系我们（工作时间：8:30-22:00）
400-660-0108 kefu@csdn.net
天工造物局
葡萄城开发者空间
openEuler 社区
人工智能6S服务平台
AI Agent技术社区
智能体开发者社区
亚马逊云科技技术品牌专区
DeepSeek技术社区
龙虾开发者社区
MCP技术社区
AI编程社区
深开鸿 技术专区
