logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

论文解读:检索越多越好?SELF-RAG给大模型装上了反思开关

SELF-RAG解决的,不只是一个工程问题——它解决的是大模型与外部知识之间关系的根本性矛盾。旧范式里,检索是输入端的预处理步骤,生成是输出端的独立行为。SELF-RAG把检索变成了模型内部决策的一部分,把质量评估编织进了生成的每一步。这让大模型第一次真正拥有了一种"自知之明"——知道自己什么时候需要帮助,知道拿到的帮助有没有价值,知道自己说的话有没有依据。未来有几个值得关注的演化方向:第一,反思

#人工智能#机器学习
论文解读:Adam定律揭示大模型最爱高频词

先把最基础的问题回答清楚:句子频率是什么,怎么算?直觉上,你能感受到"The cat sat on the mat"和"The feline reposed upon the textile floor covering"之间的差距——前者用的全是高频常见词,后者像在写学术论文。句子频率 = 句子中每个词频率的几何平均。公式写出来是:其中 wfreq 是词级频率,K 是句子的词数,D 是参考语料。

论文解读:Adam定律揭示大模型最爱高频词

先把最基础的问题回答清楚:句子频率是什么,怎么算?直觉上,你能感受到"The cat sat on the mat"和"The feline reposed upon the textile floor covering"之间的差距——前者用的全是高频常见词,后者像在写学术论文。句子频率 = 句子中每个词频率的几何平均。公式写出来是:其中 wfreq 是词级频率,K 是句子的词数,D 是参考语料。

从0开始学习大模型--Day07--大模型的核心知识点

当用户开始输入问题提问时,大模型会先将其向量化,与数据库中的向量作比对,将相似的向量提取出来,转成文本块,并与提示词模版相结合,从而变成一段更合理,更有逻辑性,能让大模型看懂的提示词输入给大模型,从而输出回答,在上述处理文本的过程,就是RAG。比如,假如公司新来了个维修人员,他可以直接调用AI知识库去学习维修手册,痛点,需要注意的点以及不懂得地方都可以直接问AI知识库,在一定程度上起到了老师傅的作

#学习
从0开始学习计算机视觉--Day02--数据驱动

在当时的imagenet比赛初期,识别图像的算法依旧是采用分层式的结构:先是计算一些图像的特征和局部不变特征,通过一些池化操作(一般会取窗口内的最大值或平均值作为输出,能够减少数据量,保留重要特征,达到降低复杂度,增强鲁棒性的效果)后,再通过一些多层处理(通过多层对数据进行处理,实现模拟人眼处理特征的过程,即从简单到复杂特征的识别)后,最终将结果描述符传递给线性SVM。其中,在2012年,错误率有

#学习#计算机视觉#人工智能
从0开始学习计算机视觉--Day04--线性分类

线性分类器这种识别图片的方法,有点类似于模版匹配,即模型对该类别图片的理解来源于一个模版,如果给出的是货车的图片,模型会尝试求可能得模型的轮廓并得出一个每个类别变体的平均值来作为答案,但这也会导致该类的行向量去判断的准确率降低。与之前用KNN算法进行图片分类不同的是,在这个模型的例子中,不需要将训练的数据集与测试集去一一比对找最相似的类别,相反我们只需要在测试时,有输入图片得到的参数和权重就可以知

#学习#计算机视觉#分类
从0开始学习机器学习--Day12--初识神经网络

实际上,生物学家们通过在动物身上做实验发现,如果将听觉或者触觉的神经皮层的神经切断,转而连接视觉的神经,那么被切断的皮层最终能够处理眼睛所带来的信息,也就是学会了“看”,这进一步说明模仿大脑最关键的是找到或设计出一个学习算法。神经网络的设计,跟大脑神经元之间信息的传递方式一致,都是通过树突,输入通道来接受一定数目的信息并作相关的计算,再通过轴突传递给其他节点,不同神经元之间通过发出微弱的电流通过输

文章图片
#机器学习#学习#神经网络
从0开始机器学习--Day16--神经网络作业

总结:在构建多元分类的模型中,方法就是将其转化为二元分类,再做循环计算,这样每次只需要将本身看做为0或1即可,注意其每次循环时要取概率最高的那次才有意义。用神经网络时,其结果有点过于理想了,怀疑是出现了过拟合现象。题目:构建逻辑回归模型来识别数字0-9。

文章图片
#机器学习#神经网络#人工智能
从0开始学习机器学习--Day22--优化总结以及误差作业(上)

假如我们有这样一个学习问题:我需要在{to,too,two}中选出一个填入以下句子:For breakfast, I ate __eggs.在这种问题中,句子的信息越多,算法越有可能得到答案,也就是说训练集数据额定增大是有益的。在房价问题中,假如我们只给了房屋面积的大小以及价格,单纯只靠这个预测到真实的价格的难度是很大的,毕竟还需要考虑所处位置的地价。其实,这类问题概括起来,只要解决了偏差和方差的

文章图片
#机器学习#学习#人工智能
从0开始学习大模型--Day10--尝试chaltglm微调

首先,通过视频教程,我们在阿里云领取免费算力,创建一个DSW实例,并在其中打开轻量轻量微调和推理ChatGlm模型。(由于版本更新,需要先打开,在Langcher界面点击tool下的DSW Gallery)然后依次按照教程里的指示,把我们需要的包,数据等用于微调必要的组件都下载好(只需要点击类似于播放键的按钮下载,等到其出现绿色即可)可以看到这是一个关于淘宝电商的数据集,summary前是产品特点

#学习
    共 20 条
  • 1
  • 2
  • 请选择