文章目录一、在线量化基础概念二、在线量化基本流程三、在线量化算法介绍四、在线量化工具介绍MQBench五、在线量化工具整体设计结构六、在线量化工具代码解读七、实践：MobileNet V2在线量化一、在线量化基础概念二、在线量化基本流程三、在线量化算法介绍四、在线量化工具介绍MQBench五、在线量化工具整体设计结构六、在线量化工具代码解读七、实践：MobileNet V2在线量化

全称模型上下文协议来源由Claude母公司Anthropic于24年底开源发布简介AI大模型的标准化工具箱，大模型可以利用这些工具与外界互动。

结合公式来看，当p增大时，为了使得kl散度小，则q也需要增大，但是当p趋于0时，无论q取任何值，kl散度都比较小，因为此时p(x)log((p(x)/q(x)))的大小主要受p(x)控制，这样起不到优化q分布的效果，可能会使q分布高估p分布中概率低的位置。p为教师模型的概率分布，q为学生模型的概率分布，当p趋于零时，为了使kl散度小，q也需趋于0。将待压缩的模型作为教师模型，将体积更小的模型作为学

背景介绍海量的训练数据给大模型训练带来了海量的计算需求，主要体现在变大的模型对显存的依赖逐渐加剧单卡场景如何解决显存问题1 ）可训练参数量降低①参数高效微调--PEFT②prompt-Tuning、Prefix-Tuning、Lora等 2 ）参数精度降低①低精度模型训练--Bitsandbytes②半精度、INT8、NF4分布式训练简介指的是系统或计算任务被分布到多个独立的节点或计算资源上进行处

结合公式来看，当p增大时，为了使得kl散度小，则q也需要增大，但是当p趋于0时，无论q取任何值，kl散度都比较小，因为此时p(x)log((p(x)/q(x)))的大小主要受p(x)控制，这样起不到优化q分布的效果，可能会使q分布高估p分布中概率低的位置。p为教师模型的概率分布，q为学生模型的概率分布，当p趋于零时，为了使kl散度小，q也需趋于0。将待压缩的模型作为教师模型，将体积更小的模型作为学

2.12 个案与变量个案：行变量：列2.13 变量属性介绍标签为对变量的信息补充解释2.14 项目血糖酶解31）可视化图形（平均值图）显示血糖随时间降低2）方差分析表ANOVA 看F值与显著性的P值小于0.05，说明方差分析模型因素是显著的3）方差基本条件有没有满足呢？看方差齐性检验的显著性为0.467，为大概率，说明假设接受4）看齐性子集：135分钟单独成子集，90分钟的2号单独成行，45分钟差

文章目录 一、指令数据准备与构建1）深度学习中的数据工程2）prompt-engineering与指令数据3）构建微调指令数据4）开源指令数据集5）project1：大模型文本摘要微调时间 part1和part2 二、指令数据进阶与增强1）指令数据重要性2）数据好坏的度量3）指令数据的筛选与配比4）指令数据的扩充5）指令数据优化案例6）数学推理指令与思维链 三、大模型微调理论1）指令微调基础概述

1，股票数据预处理（计算茅台酒股票从15年到21年买卖的收入）import tushare as tsimport pandas as pdfrom pandas import DataFrame,Seriesimport numpy as np#获取某只股票的历史行情数据#code股票代码,data交易时间，open开盘价，close收盘价，volume成交量df=ts.get_k_data(c

①Conv = conv+BN+SiLU，stride=2表示下采样，在backbone中有5个stride=2的conv模块，2的5次方是32,640/32=20，所以就有了20x20的特征图。上采样：上采样将深层特征图的分辨率提高（如从20×20上采样到40×40），与浅层特征拼接，保留细节信息的同时增强语义表达能力。②Bottleneck有add为true和false两种，⑤因为有两种上采样

文章目录一、离线量化基础概念二、离线量化难点三、离线量化算法介绍四、离线量化工具介绍五、离线量化工具整体设计结构六、离线量化工具代码解读七、实践：Dipoorlet量化MobileNet一、离线量化基础概念二、离线量化难点三、离线量化算法介绍四、离线量化工具介绍五、离线量化工具整体设计结构六、离线量化工具代码解读七、实践：Dipoorlet量化MobileNet