所以变长数据的 KV cache 存储是一个比较大的难题。存在 KV Cache（KV 矩阵缓存）的原因是：Decode 阶段自回归生成时，历史 token 的 Key/Value 实际上是可以复用的，因此还可以省掉大量重复的计算。例如：批策略，量化类型，TP 大小，PP 大小，任务超时时间，重试时间，显存申请策略，RDMA 软硬件队列大小，是否可回退执行等。下一轮，只需要计算 “乐” 的 KV

在前 2 篇文章中，我们从快速入门、应用场景、基本原理、部署配置这 4 个方面，整体地介绍了 Intel HDSLB 作为新一代高性能四层负载均衡器的研发背景、解决方案以及性能优势，并通过 step by step 的方式，希望帮助更多的读者能够便捷地在自己的开发机运行和使用起来。在本篇中，我们将继续向前，对 HDSLB-DPVS 开源版本的代码进行剖析，并介绍其中一些有趣的高级特性。Intel

目录文章目录目录前文列表单向认证HTTPS 服务端客户端前文列表《互联网协议 — HTTP 超文本传输协议》《互联网协议 — TLS 1.3 传输层安全协议》《互联网协议 — TLS — 安全四要素与 CA 认证》《互联网协议 — HTTPS 安全的超文本传输协议》单向认证HTTPS 服务端Golang 要实现一个 HTTPS 并不困难，只需要使用 http.ListenAndServeTLS 代

Blog 项目源码：https://github.com/JmilkFan/JmilkFan-s-Blog目录目录前文列表工厂模式使用工厂方法 Factory Method 创建 app 对象前文列表用 Flask 来写个轻博客 (1) — 创建项目用 Flask 来写个轻博客 (2) — Hello World！用 Flask 来写个轻博客 (3) —...

目录目录Load Balance使用NLB来部署Web Farm集群环境准备在Win08r2pc1中配置DNS服务在Win08r2pc1中部署File Service文件服务在Win08r2pc1中部署IIS Web服务在win08r2pc2上部署IIS Web服务配置共享的站点文件夹win08r2pc1中的web共享配置win08r2pc2中的web共享配置创建NLB集群N

例如：句子 The animal didn’t cross the street because it was tired，其中 it 和 animal 的关联必然最大，其权重也最大，it 的语音单元必然包含 animal 的信息，如此的 Decoder 就知道了代词 it 指代的是名称 animal 而不是其他词，翻译为 “动物”。由于深度神经网络中每一层的输入都是上一层的输出，因此多层传递下，

SHARP（Scalable Hierarchical Aggregation and Reduction Protocol，可扩展分层次聚合和归约协议）是一种聚合通信（e.g. ML 梯度聚合、FL 模型聚合）网络卸载技术。在各种 HPC 和 AI 场景中，常常存在多种聚合类通信协议，这些聚合类通信由于涉及全局网络，常常会对 Application 的并行效率产生巨大的影响。业内研究了多种优化聚

值得注意的是，Sequence Model 的 “历史记忆” 和 Hopfield Network 的 “联系记忆” 有本质的区别，“联想记忆” 并不适用于处理序列数据，而 “历史记忆” 的目标是发现序列数据中的模式和依赖关系，从而进行预测、分类，甚至生成新的序列。如下图所示，RNN 和 FFN 结构的主要区别就是 RNN 引入了一个循环结构，RNN 在每个时间步（t）处理一个序列元素时，不仅会接

例如：句子 The animal didn’t cross the street because it was tired，其中 it 和 animal 的关联必然最大，其权重也最大，it 的语音单元必然包含 animal 的信息，如此的 Decoder 就知道了代词 it 指代的是名称 animal 而不是其他词，翻译为 “动物”。由于深度神经网络中每一层的输入都是上一层的输出，因此多层传递下，

也就是说，围绕该矩阵的计算量和显存占用量（Scaled、Masked、Softmax、乘 V 加权融合计算等等），会随 n 呈平方级增长，例如：如果 seq_len 变成原来的 2 倍，显存占用量就是原来的 4 倍，计算时间也是原来的 4 倍。但实际上，Child 等人（2019）的研究发现，在训练好的 Transformer 模型中，注意力矩阵往往是稀疏的，这意味着并不是每个 token 都需要