logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

java中利用httpclient发送请求

public static String getDataForHttpClient(String url){CloseableHttpClient httpclient = HttpClients.createDefault();try {HttpGet httpget = new HttpGet(url);CloseableHttpResponse response = ht...

#java
异构算力集群硬件巡检:主流 GPU/NPU PCI 识别与驱动检测指南

硬件 PCI 识别校验驱动与容器运行时校验。lspci命令用于确认服务器 BIOS、系统底层识别到算力硬件,仅代表物理设备可被系统发现;smi/gmi系列工具验证内核驱动与固件加载正常;容器运行时检测,用于确认容器环境可透传算力设备,是容器化 AI 业务上线前必做检查。本文汇总 NVIDIA、AMD、昇腾、海光 DCU、沐曦、摩尔线程、天数智芯、寒武纪、平头哥主流算力芯片的 PCI 厂商 ID、设

#GPU
异构算力集群硬件巡检:主流 GPU/NPU PCI 识别与驱动检测指南

硬件 PCI 识别校验驱动与容器运行时校验。lspci命令用于确认服务器 BIOS、系统底层识别到算力硬件,仅代表物理设备可被系统发现;smi/gmi系列工具验证内核驱动与固件加载正常;容器运行时检测,用于确认容器环境可透传算力设备,是容器化 AI 业务上线前必做检查。本文汇总 NVIDIA、AMD、昇腾、海光 DCU、沐曦、摩尔线程、天数智芯、寒武纪、平头哥主流算力芯片的 PCI 厂商 ID、设

#GPU
如何关闭 DeepSeek R1 的思考过程:本地部署实践指南

在本地部署 DeepSeek R1 模型时,部分用户可能希望关闭模型的思考过程显示,以获得更简洁的输出结果。

#DeepSeek
昇腾 CANN 异构平台:MindCluster ToolBox NPU 性能压测详解

实用工具包MindCluster ToolBox中包括Ascend DMI工具、日志收集工具和Ascend Cert工具。Ascend DMI工具主要为Atlas产品的标卡、板卡及模组类产品提供带宽测试、算力测试、功耗测试等功能。日志收集工具主要在故障分析定位时收集运行环境信息、昇腾NPU健康信息、昇腾软件日志、Device的系统级日志和MindEdge、MindSDK日志。

#昇腾#CANN
昇腾 CANN 异构平台:MindCluster ToolBox NPU 性能压测详解

实用工具包MindCluster ToolBox中包括Ascend DMI工具、日志收集工具和Ascend Cert工具。Ascend DMI工具主要为Atlas产品的标卡、板卡及模组类产品提供带宽测试、算力测试、功耗测试等功能。日志收集工具主要在故障分析定位时收集运行环境信息、昇腾NPU健康信息、昇腾软件日志、Device的系统级日志和MindEdge、MindSDK日志。

#昇腾#CANN
统信UOS V2500 环境下K8S 环境部署

本文详细记录了Kubernetes集群的部署过程,文档提供了完整的命令序列和注意事项,特别强调了网络配置一致性、镜像源替换等关键点,确保集群部署顺利进行。所有操作均包含验证步骤,保证各环节配置正确生效。

文章图片
#kubernetes#容器#云原生
AI 大模型私有化部署:模型选择与资源规划指南

本文档提供了AI大模型私有化部署的完整指南,重点从资源需求测算、模型选型方法和部署实操三个维度展开。首先详细介绍了不同精度类型(INT4/INT8/FP16等)下模型参数与硬件资源(显存/内存/CPU)的对应关系,并给出推荐配置表。其次提出模型选型方法论,建议根据业务场景匹配参数规模和精度类型。最后以魔塔社区为例,给出模型下载和部署的具体操作步骤。文档强调"先算资源再选模型"的

#人工智能#大数据
统信 UOS + 沐曦 C500 容器化部署 vLLM 推理完整实操手册

本文介绍了在UOS V25服务器操作系统上部署沐曦AI加速卡(C500)的vLLM推理服务的完整流程。环境配置包括驱动(3.7.2.30)和SDK(3.7.2.0)安装,提供两种架构的Docker镜像拉取方式(x86/aarch64)。通过详细的docker run命令实现容器化部署,重点配置了GPU内存、并行计算等参数。服务启动后,通过curl发送测试请求验证功能,成功获取模型(DeepSeek

#AI
统信 UOS + 沐曦 C500 容器化部署 SGLang 推理完整实操手册

本文介绍了在UOS V25服务器操作系统上部署沐曦C500加速卡AI推理服务的完整流程。环境配置包括浪潮AI服务器、沐曦驱动3.7.2.30和SDK 3.7.2.0。通过Docker容器化部署,使用uos-server-25-metax-sglang镜像,配置大内存和设备权限后启动服务。在容器内运行sglang.launch_server启动32B参数的DeepSeek-R1模型推理服务,开放91

    共 53 条
  • 1
  • 2
  • 3
  • 6
  • 请选择