logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

GPU参数优化

问:这些显存调优方法你平时怎么落地操作?量化:优先离线把模型转成 INT4-AWQ 权重,vLLM/TRT-LLM 启动时指定量化参数,直接降低基础显存占用;H100/H200 会开启 FP8。KV Cache:严格配置限制上下文,设置在 0.7~0.85 预留空间,多卡场景用张量并行自动分片 KV。超大模型:34B/70B 采用 TP/PP 多卡并行拆分权重,突破单卡显存上限。泄漏与碎片:日常用

文章图片
#chrome#前端#GPU
GPU算力优化

GPU(图形处理单元)算力优化是提升计算性能的重要任务,在深度学习、科学计算等领域有重要意义。下面从硬件层面、软件层面和算法层面为你介绍一些优化方法:以下是一个使用 PyTorch 在 GPU 上进行简单矩阵乘法的示例,展示了如何利用 GPU 加速计算:gpu-computation-optimizationGPU 矩阵乘法计算示例V1生成 gpu_matrix_multiplication.py

在三台GPU服务器上部署分布式deepseek

通过以上步骤,即可在三台 GPU 服务器上实现 DeepSeek 的分布式部署,支持 7B/33B 模型的训练与推理,后续可根据需求调整节点数、GPU 数量及分布式策略(如增加节点扩展至更多 GPU)。分布式训练需主节点(Master)通过 SSH 无密码访问从节点(Worker),需配置三台服务器的 SSH 免密登录。避免多节点重复下载,建议在 Master 节点下载模型,通过 NFS 挂载或。

文章图片
#服务器#分布式#运维
搭建一个200多台英伟达的GPU服务集群

核心优势架构NVLink+InfiniBand 双高速互联,解决 200+GPU 间通信瓶颈叶脊拓扑提供无阻塞带宽,支持大规模扩展液冷散热保障高密度部署稳定性K8s+NVIDIA AI Enterprise 实现智能化管理后续优化方向考虑 BlueField DPU 卸载网络和存储流量,释放 CPU 资源实施混合精度训练和模型并行,充分利用集群算力探索 AI Workflow 自动化,提升资源利用

文章图片
#GPU#网络
ALOPS智能化运维管理平台

AIOps(Artificial Intelligence for IT Operations)即智能运维,是将人工智能技术应用于 IT 运维管理领域,以实现自动化、智能化的运维决策和管理。

#运维#spark#大数据
GPU NPU TPU的区别与联系

GPU(Graphics Processing Unit,图形处理器)、NPU(Neural Processing Unit,神经网络处理器)和 TPU(Tensor Processing Unit,张量处理器)都是为了满足特定计算需求而设计的处理器。

#人工智能#GPU
在三台GPU服务器上部署分布式deepseek

通过以上步骤,即可在三台 GPU 服务器上实现 DeepSeek 的分布式部署,支持 7B/33B 模型的训练与推理,后续可根据需求调整节点数、GPU 数量及分布式策略(如增加节点扩展至更多 GPU)。分布式训练需主节点(Master)通过 SSH 无密码访问从节点(Worker),需配置三台服务器的 SSH 免密登录。避免多节点重复下载,建议在 Master 节点下载模型,通过 NFS 挂载或。

文章图片
#服务器#分布式#运维
StarRocks数据仓库

StarRocks 是一款,由字节跳动开源(2020 年开源,2023 年进入 Apache 孵化器),核心定位是 “实时数仓 + 湖仓一体”,专为 PB 级数据的快速查询、多维分析、实时报表等场景设计,广泛应用于互联网、金融、零售、政务等行业。

文章图片
#数据仓库
python速学

一、快速了解 Python 和 环境准备(一)Python 快速介绍Python 是一种 简洁、强大、易读 的编程语言,广泛应用于 Web 开发、数据分析、人工智能、自动化运维 等领域。它由 Guido van Rossum 在 1991 年设计,因其清晰的语法和强大的生态系统,迅速成为全球最受欢迎的编程语言之一。在 2017 年底,Stack Overflow 发布的数据显示,Python 已经

文章图片
#python#开发语言
hadoop集群的安装与部署

关于文件-块-DataNode关系的元数据保存到内存中HA(High Availablity)高可用,一主一从,从节点不断给主节点发送心跳信息,重试几次依然没有收到主节点返回的信息,就认为主节点死掉了,从节点变为主节点。两个主节点同时存在问题是脑裂,从节点发出请求强制关闭主节点。fsimageedits日志文件1、Map 阶段每个节点单独处理一个文件切片(缺省就是一块)处理后的结果文件先排序存储在

文章图片
#hadoop#java#eclipse
    共 57 条
  • 1
  • 2
  • 3
  • 6
  • 请选择