一切还是从BERT（BERT模型卡信息：https://www.datalearner.com/ai/pretrained-models/BERT ）说起，当年Google提出BERT模型的时候，一个最大的贡献是使用了Masked Language Model（MLM），即随机掩盖输入序列的一个token，然后利用相邻的tokens预测这个token是什么，这样模型可以学会更好地理解上下文。

前面讲了架构， 其中有一个层归一化layerNorm结构，最近在看不同的大模型结构中也发现会对其优化。但是似乎在CV领域貌似批次归一化BN层用的也很多，那么这两个归一化层到底有什么区别呢？为何在NLP领域几乎都是LN层，而不用BN层呢？一、What is Normalization？Normalization：规范化或标准化，就是把输入数据X，在输送给神经元之前先对其进行平移和伸缩变换，将X的分布

阿里巴巴发布了Marco-o1!!!Marco-o1通过集成。

ISS是直接针对于点云数据的特征提取方法，其思想的核心在于PCA分解之后，其最小的特征值必须要足够大。基于这个思想我们对算法进行介绍:对点云的每个点遍历，计算其RadiusNN每个点根据其RadiusNN表示，并由其R近邻点计算加权的协方差矩阵权重wj构建的思想基于: 稀疏部分的点云的权重大于密集部分的点云权重,所以定义如下对于任意一个近邻点j，其对应的矩阵与点j的R近邻的个数成反比2. 最终的加

文章链接:项目地址:github地址:NLP的应用中，有一个最关键的步骤就是将文字/其他多模态的模型转换成词嵌入/向量化，而对应的这个模型便称之为Embedding模型。那么在这么多embedding模型里，如何评价好坏呢？本文就会介绍，(Massive Text Embedding Benchmark)是目前评测文本向量很重要的一个参考，其也是各大文本向量模型用来展示与其他向量模型强弱的一个竞技

语义分割任务是计算机视觉里的一个比较基础的任务，其相比于物体检测任务主要有以下几个优点：输出的结果是稠密的，是针对于所有像素点的K分类问题，物体检测任务只输出前景类物体的信息忽略了背景点的信息在自动驾驶任务中可以实现可行驶区域的识别，大部分区域都是以背景的形式存在，而这些背景同样是非行驶区域可以输出非常精细的结果，物体检测由于输出都是刚性的矛框，对于一些精细的任务无法达到要求语义分割 : 对图片的

大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有1750亿个参数，而Grok-1更是不得了，有3140亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量，而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”，越多就能让模型更聪明，更能理解数据中那些错综复杂的关系。有了这些“脑细胞”，模型在处理任务

最近RAG热度不减，微软开源了GraphRAG，很是火爆呀，本着学习的态度，我也部署使用了一下，无奈没有梯子，不能用openAI，于是想着能不能使用本机的模型，替换openAI的 llm和embedding模型，说干就干，整个过程真是曲折，踩坑不少，但最终 结果还是好的，终于完美部署到本机使用了，哈哈，下面来给大家分享一下，自己也记录一下，以免后边再使用时重复进坑。

论文地址: [1803.08669] Pyramid Stereo Matching Network (arxiv.org)代码地址: JiaRenChang/PSMNet: Pyramid Stereo Matching Network (CVPR2018) (github.com)3D感知任务相比于2D感知任务的情况更为复杂，而相比于单目相机双目相机的感知能力拥有以下几个特点:而双目相机是如何

这两个训练功能，EMA 和混合训练，常常被其他的开源框架所忽略，因为它们并不会妨碍训练的进行。然而，根据 InstructGPT，EMA 通常比传统的最终训练模型提供更好的响应质量，而混合训练可以帮助模型保持预训练基准解决能力。因此，我们为用户提供这些功能，以便充分获得 InstructGPT 中描述的训练体验，并争取更高的模型质量。DeepSpees正如它官网介绍的一样，它为深度学习模型提供了一