本文记录了gRPC 中如何通过 TLS 证书建立安全连接，让数据能够加密处理，包括证书制作和CA签名校验等。1. 概述gRPC 系列相关代码见 GithubgRPC 内置了以下 encryption 机制：1）SSL / TLS：通过证书进行数据加密；2）ALTS：Google开发的一种双向身份验证和传输加密系统。只

本文为从零开始写 Docker 系列第十八篇，利用 linux 下的 Veth、Bridge、iptables 等等相关技术，构建容器网络模型，为容器插上”网线“。

本文为从零开始写 Docker 系列第十六篇，利用 linux 下的 Veth、Bridge、iptables 等等相关技术，构建容器网络模型，为容器插上”网线“。

来自：指月 https://www.lixueduan.com原文：https://www.lixueduan.com/post/kafka/11-consumer-group-rebalance/本文主要讲述了 Kafka 的消费者组（Consumer Group）和 消费者组的 Rebalance 及如何避免无效 Rebalance。Kakfa 相关代码见 Github1. 传统消息模型传统消

本文分析了开源vGPU方案HAMi中的设备插件hami-device-plugin-nvidia实现原理。作为系列第一篇，重点解读了该插件的核心功能：与NVIDIA原生device-plugin不同，HAMi自定义实现是为了支持vGPU细粒度切分。文章从程序入口开始，介绍了基于CLI的启动命令配置，并指出分析device-plugin需要关注的三个关键环节：Register注册逻辑、ListAnd

大模型推理有多种方式比如最基础的 HuggingFace TransformersTGIvLLM其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。根据 vLLM 官方博客所说：进行了 NVIDIA A10 GPU 上推理 LLaMA-7 B 和 在 NVIDIA A100 GPU（40 GB）上推理 LLaMA-13 B 两个实

本文介绍了一种开源的GPU虚拟化方案HAMi(Heterogeneous AI Computing Virtualization Middleware)。相比于传统的TimeSlicing方案，HAMi不仅支持GPU共享，还能对GPU核心和显存进行细粒度隔离与限制(1%级别)，确保各Pod获得相应资源。HAMi采用vCUDA方案，通过拦截CUDA/NVML API实现资源控制，当Pod使用超过申请

大模型推理有多种方式比如最基础的 HuggingFace TransformersTGIvLLM其中，热度最高的应该就是 vLLM，性能好的同时使用也非常简单，本文就分享一下如何使用 vLLM 来启动大模型推理服务。根据 vLLM 官方博客所说：进行了 NVIDIA A10 GPU 上推理 LLaMA-7 B 和 在 NVIDIA A100 GPU（40 GB）上推理 LLaMA-13 B 两个实

本文主要讲述了Java单例模式之双重校验锁中volatile关键字的作用。更多文章欢迎访问我的个人博客–>幻境云图上篇文章Java设计模式(一)–单例模式中讲了Java单例模式的几种写法，其中懒汉式和双重校验锁方式写法如下：1. 懒汉式public class Singleton {private static Singleton instance;...

本文主要记录了如何使用 gRPC-Gateway 同时对外提供RESTful API 和 gRPC 接口。1. 概述gRPC 系列相关代码见 GithubgRPC-Gateway 是Google protocol buffers compiler(protoc)的一个插件。读取 protobuf 定义然后生成反向代理服务器，将RE