logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

关于大语言模型的困惑度(PPL)指标优势与劣势

PPL对分词方式敏感。例如,使用不同分词器(如BPE vs WordPiece)的模型之间无法直接比较PPL值,导致跨模型评估失效。大模型常通过强化学习(RLHF)、对比学习(如DPO)等方式微调,这些方法直接优化人类偏好或任务表现,而非最小化PPL。大模型需规避有害内容生成,相关评估(如毒性评分、偏见检测)无法通过PPL实现,需专门工具(如Perspective API)。支持图像、音频的多模态

#语言模型#人工智能#自然语言处理
关于大语言模型的困惑度(PPL)指标优势与劣势

PPL对分词方式敏感。例如,使用不同分词器(如BPE vs WordPiece)的模型之间无法直接比较PPL值,导致跨模型评估失效。大模型常通过强化学习(RLHF)、对比学习(如DPO)等方式微调,这些方法直接优化人类偏好或任务表现,而非最小化PPL。大模型需规避有害内容生成,相关评估(如毒性评分、偏见检测)无法通过PPL实现,需专门工具(如Perspective API)。支持图像、音频的多模态

#语言模型#人工智能#自然语言处理
Quantum support vector machine for big data classification大数据分类的量子支持向量机

十个公式撑起了整篇论文,发表于Physic Review Letters监督式机器学习是基于已经分类的训练样本对新数据进行分类。在这项工作中,我们展示了支持向量机,一种优化的二进制分类器,可以在量子计算机上实现,其复杂度在向量的大小和训练示例的数量上是对数的。在传统采样算法需要多项式时间的情况下,获得了指数级的加速。这种量子大数据算法的核心是一种非稀疏矩阵幂运算技术,用于有效地对训练数据内积(核)

文章图片
#大数据
关于变分量子算法的问答

成本函数(Cost function)是优化问题中的一种函数,用于衡量给定参数下电路输出与目标状态或目标值之间的差异。它是在量子优化算法(如变分量子本征求解器(VQE))中用于量化电路输出与目标的差异的量化目标。成本函数通常是通过量子电路的期望值计算的,表示为 〈H〉,其中 H 是汉密尔顿量。汉密尔顿函数是物理量子系统中的能量运算符,通常用来描述系统的哈密顿量(如粒子的总能量)。VQD 的核心思想

文章图片
#算法
量子计算机能解决哪些问题?

总之,这是一个非常酷的模拟工作类型的例子,其目的是更精确地解决困难的理论问题,并利用实验来接受或拒绝理论,以期发现新的物理学,建造改进的探测器,并在最基本的层面上更好地理解自然。如果你不是一个高能物理学家,你可能仍然熟悉“强子”这个词,就像在大型强子对撞机(LHC)中一样,这是一个巨大的粒子加速器,周长27公里,最终有可能观察到希格斯玻色子。一个著名的例子是寻找巨大整数的质因数。这意味着从芯片一侧

文章图片
#量子计算
大语言模型训练的两个阶段

deepspeed="configs/deepspeed_z3.json",# ZeRO-3优化。--volume-size 1000 \# 1TB存储。report_to="none"# 本地不连接MLflow等。learning_rate=2e-5,# 比预训练低1-2个量级。:采用Spot Instance节省60-70%费用。网络隔离:断开外网连接进行air-gapped训练。数据加密:使

#语言模型#人工智能#机器学习
量子噪声与量子操作

由于量子不确定性和量子态的测量过程而引入的随机波动,量子噪声不可避免。

文章图片
#量子计算
量子神经网络

感知机只是一个神经元,若有多个神经元共同作用,则构成神经网络。目前,最常见的量子神经网络模型为基于参数化量子线路的量子神经网络,该模型用参数化量子线路代替神经网络结构,使用经典优化算法更新参数化量子线路的参数。

文章图片
#神经网络#人工智能#深度学习
洛谷-拍苍蝇

Norman 有一个给定的 KKK 边形的苍蝇拍。他想知道有多少种放置苍蝇拍的方法,使得这个苍蝇拍的顶点在顶点为 (0,0)(0,0)(0,0) 和 (Xp,Yp)(X_p,Y_p)(Xp​,Yp​) 的矩形中,并且各个顶点是整点,满足没有一个苍蝇被伤害。其中,整点的定义是横坐标和纵坐标都是整数的点。这个矩形中有 NNN 个苍蝇,每一个苍蝇可以看成一个点 (X,Y)(X,Y)(X,Y)。一个苍蝇会

文章图片
#算法
到底了