综述《Unifying Large Language Models and Knowledge Graphs: A Roadmap》统一大语言模型和知识图谱粗略笔记

ColBERT是一种多向量排序模型，因为引入了延迟交互机制(late interaction architecture)相比与cross-encoder效率提升了很多。ColBERTv2针对ColBERT的缺点进一步优化了性能和效率。在RAG大热的这一年，ColBERT也引起了一些关注。

MessagePassing是图神经网络Python库pytorch_geometric(PyG)库里非常重要的一个基类，它可以用来创建消息传递图神经网络，pytorch_geometric里很多类比如图卷积层GCNConv和图注意力层GATConv都基于此类实现，我们也可以基于它来自定义图神经网络。

针对领域问答来进行知识对齐方法KnowPAT，KnowPAT(Knowledgeable Preference AlignmenT) 出自2023年11月的论文《Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering》

大模型基础之位置向量RoPE

不需要参考模型的对齐方法ORPO和SimPO简介

面向检索任务的基于自动编码器的预训练模型方法模型预训练方法RetroMAE和RetroMAE-2原理

文本向量模型BGE与BGE-M3原理介绍

大模型基础之位置向量RoPE

异常检测算法LOF(local outlier factor)出自2000年的SIGMOD论文《LOF: Identifying Density-Based Local Outliers》，它包括k-近邻距离、可达距离、局部可达密度、局部异常因子等概念。