在进行大语言模型（LLM）的微调或预训练时，显存（VRAM）不足通常是首要面临的问题。为了在有限的硬件资源下完成训练，了解显存的具体去向以及相应的优化技术是比较基础的工作。从模型训练的流程来看，显存的占用主要可以分为两大部分：模型状态（Model States）和剩余耗时产生的中间变量（主要是激活值）。以下对相关的优化方法做简单的梳理。

在预填充期间，已经在进行解码的旧请求要么暂停，要么只能生成一个词元，这导致了解码请求的有效吞吐量下降，特别是遇到那些特别长的Prefill任务，那将会大大增加其他请求解码速度。当一个新的请求（例如，用户的提问）进入系统时，模型需要一次性处理整个输入序列（prompt），并计算出每个 token 对应的键值缓存（KV Cache）。它会生成第一个 token “北”，然后将“北”的 KV Cache

在人工智能领域，注意力机制（Attention Mechanism）的提出标志着深度学习模型对信息处理方式的革命性转变。这种模拟人类选择性关注能力的技术，通过动态分配计算资源，使模型能够聚焦于输入数据的关键部分。随着Transformer架构的普及，注意力机制逐渐成为自然语言处理、计算机视觉等领域的核心组件。然而，当模型规模突破万亿参数量级时，传统注意力计算方式暴露出内存占用高、计算效率低等瓶颈，

在推导之前，我们要把刚才的直觉翻译成数学语言。StS_tSt​ttt时刻的状态。AtA_tAt​: 在状态StS_tSt​采取的动作。Rt1R_{t+1}Rt1​: 执行动作后，环境给的即时奖励（注意下标通常是 t+1，因为是动作发生后得到的）。γ\gammaγ: 折扣因子，范围01[0, 1]01，防止未来无限收益导致数值爆炸。GtG_tGt​回报（Return）。这是最重要的概念，代表从ttt

对于动辄数百亿参数的大型模型而言，显存带宽和容量是比峰值算力更为关键的瓶颈。：出人意料的是，在 16 位非稀疏算力上，RTX 4090（330 TFLOPS）凭借更新的 Tensor Core 架构和更高的频率，其原始计算能力甚至略微超过了 A100（312 TFLOPS）。具体而言，在一个由 4 个权重构成的细粒度向量中，如果其中 2 个被置零，Tensor Core 硬件就能动态识别此模式，并

在推导之前，我们要把刚才的直觉翻译成数学语言。StS_tSt​ttt时刻的状态。AtA_tAt​: 在状态StS_tSt​采取的动作。Rt1R_{t+1}Rt1​: 执行动作后，环境给的即时奖励（注意下标通常是 t+1，因为是动作发生后得到的）。γ\gammaγ: 折扣因子，范围01[0, 1]01，防止未来无限收益导致数值爆炸。GtG_tGt​回报（Return）。这是最重要的概念，代表从ttt

markdown中的花写字母公式表达\mathcal{A}

视觉是人类和动物通过眼睛感知外界环境中的光线信息的过程。这包括接收、处理和解释光线信息，以便理解周围世界中的物体、颜色、形状和运动等。视觉是我们最重要的感觉之一，为我们提供了丰富的信息，帮助我们导航环境、识别物体、沟通和享受美感。视觉的意义在于它是我们感知世界的主要方式之一。通过视觉，我们能够看到物体的形状、颜色和大小，感知物体之间的相对位置和距离，识别人脸、表情和动作，以及观察周围环境中的变化。

月之暗面（Moonshot AI）发布的 Kimi K2 系列模型，代表了当前国产大模型在混合专家模型（MoE）架构与强化学习推理领域的最新进展。该系列通过 Kimi-k2-instruct 与 Kimi-k2-thinking 两个版本，实现了高效能通用对话与深度逻辑推理的双重覆盖。

主要功能就是读取csv文件获得一组x,y数据，简单处理后进行画图，然后不断分析，最后输出csv表格。比如，分析某段时间价格波动幅度，可以先用券商或经纪商的接口不断获取数据存储到csv文件，然后利用python读取数据，进行必要的数据分割处理，绘画图像找到需要的特征，图像得到结果后，改代码输出csv数据。我写这个代码主要做金融市场流动性分析，就是某时段某价格区间能够承受的资金量统计分析以及卖价买价差