本文测试了开源vGPU方案HAMi的GPU核心与显存隔离功能。测试环境采用A40 GPU、K8s v1.23.17和HAMi v2.3.13，通过PyTorch的imagenet训练脚本验证隔离效果。 测试结果显示： 核心隔离：Pod实际使用的算力围绕设定值波动，但长期平均值与申请的gpucores基本一致； 显存隔离：当Pod申请超过设定的GPU显存时，会直接触发CUDA OOM错误。 测试方法

DevOps 另一选择？云原生 CICD: ArgoWorkflow 初体验。

本文为从零开始写 Docker 系列第十八篇，利用 linux 下的 Veth、Bridge、iptables 等等相关技术，构建容器网络模型，为容器插上”网线“。

本文为从零开始写 Docker 系列第十六篇，利用 linux 下的 Veth、Bridge、iptables 等等相关技术，构建容器网络模型，为容器插上”网线“。

来自：指月 https://www.lixueduan.com原文：https://www.lixueduan.com/post/kafka/11-consumer-group-rebalance/本文主要讲述了 Kafka 的消费者组（Consumer Group）和 消费者组的 Rebalance 及如何避免无效 Rebalance。Kakfa 相关代码见 Github1. 传统消息模型传统消

本文介绍了一种开源的GPU虚拟化方案HAMi(Heterogeneous AI Computing Virtualization Middleware)。相比于传统的TimeSlicing方案，HAMi不仅支持GPU共享，还能对GPU核心和显存进行细粒度隔离与限制(1%级别)，确保各Pod获得相应资源。HAMi采用vCUDA方案，通过拦截CUDA/NVML API实现资源控制，当Pod使用超过申请

大模型推理有多种方式比如最基础的 HuggingFace TransformersTGIvLLM其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。根据 vLLM 官方博客所说：进行了 NVIDIA A10 GPU 上推理 LLaMA-7 B 和 在 NVIDIA A100 GPU（40 GB）上推理 LLaMA-13 B 两个实

本文主要讲述了Java单例模式之双重校验锁中volatile关键字的作用。更多文章欢迎访问我的个人博客–>幻境云图上篇文章Java设计模式(一)–单例模式中讲了Java单例模式的几种写法，其中懒汉式和双重校验锁方式写法如下：1. 懒汉式public class Singleton {private static Singleton instance;...

本文主要记录了如何使用 gRPC-Gateway 同时对外提供RESTful API 和 gRPC 接口。1. 概述gRPC 系列相关代码见 GithubgRPC-Gateway 是Google protocol buffers compiler(protoc)的一个插件。读取 protobuf 定义然后生成反向代理服务器，将RE

来自：指月 https://www.lixueduan.com原文：https://www.lixueduan.com/post/network/06-http-flow/本文主要通过抓包分析了一次 HTTP(S) 请求究竟需要多少流量，同时也分析了一下整个 HTTP 请求的执行流程。1. 背景最近查询监控，观察到某个负载的带宽峰值在最高的时候都达到了近 30M，然后查了对应时间段的系统 QPS，