从2018年Bert横空出世以后，以预训练模型为基石的各个领域百花齐放，多模态预训练模型也是在这样一个背景下诞生的，具体大概是从2019年开始涌现的。在传统NLP单模态模型中，表征学习的发展较为完善，但在多模态，由于高质量标注数据集的限制，少样本学习以及零样本学习是研究的重点。基于Transformer结构的多模态预训练模型，通过海量无标注数据进行预训练，然后使用少量有标注数据进行微调即可。通常多

  GPT(Generative Pre-Training)和BERT(Bidirectional Encoder Representation from Transformers)都是以Transformer为主题架构的预训练语言模型，都是通过“预训练+fine tuning”的模式下完成下游任务的搭建从模型的角度上1） GPT是单向模型，无法利用上下文信息，只能利用上文；而BERT是双向模型。

文章目录1 基于内容的推荐（Content Based）1.1原理1.2 算法流程1.3 优/缺点2 协调过滤（Collaborative Filtering）2.1 CF的理论基础（1）U-U矩阵相似度计算（Pearson系数）（2）V-V矩阵相似度计算（余弦相似度）（3）U-V矩阵降维2.2 基于领域的协调过滤推荐（1）User-CF（2）Item-CF（3） 两种模式的比较2.3 基于模型的

总结1.1机器学习和数据挖掘的关系机器学习是数据挖掘的重要工具。数据挖掘不仅仅要研究、拓展、应用一些机器学习方法，还要通过许多非机器学习技术解决数据仓储、大规模数据、数据噪音等等更为实际的问题。机器学习的涉及面更宽，常用在数据挖掘上的方法通常只是“从数据学习”，然则机器学习不仅仅可以用在数据挖掘上，一些机器学习的子领域甚至与数据挖掘关系不大，例如增强学习与自动控制等等。数据挖掘试图从海量数据中找出

看了沐神的讲解，恍然大悟，b站可以不刷，但沐神一定要看。在统计模型中，通过方差和偏差来衡量一个模型。1 方差和偏差的概念偏差（Bias）：预测值和真实值之间的误差方差（Variance）：预测值之间的离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散。2 均方误差（Mean-Square error，MSE）在统计模型评价中时，评价一个点估计的坏时，通常使用点估计y^\hat{y}y^​

论文介绍发表：2019，EMNLP论文题目：《Sentence-BERT：sentence embeddings using siaese BERT-networks》论文地址:https://arxiv.org/abs/1908.10084Github:https://github.com/UKPLab/sentence-transformers适用领域：句向量生成语义相似度计算语义搜索无监督任

  GPT(Generative Pre-Training)和BERT(Bidirectional Encoder Representation from Transformers)都是以Transformer为主题架构的预训练语言模型，都是通过“预训练+fine tuning”的模式下完成下游任务的搭建从模型的角度上1） GPT是单向模型，无法利用上下文信息，只能利用上文；而BERT是双向模型。

总结1.1机器学习和数据挖掘的关系机器学习是数据挖掘的重要工具。数据挖掘不仅仅要研究、拓展、应用一些机器学习方法，还要通过许多非机器学习技术解决数据仓储、大规模数据、数据噪音等等更为实际的问题。机器学习的涉及面更宽，常用在数据挖掘上的方法通常只是“从数据学习”，然则机器学习不仅仅可以用在数据挖掘上，一些机器学习的子领域甚至与数据挖掘关系不大，例如增强学习与自动控制等等。数据挖掘试图从海量数据中找出

文献来源：https://doi.org/10.1007/978-3-030-33982-1《A survey of relation extraction of knowledge graphs》0 引言关系抽取是为了解决实体语义链接问题，对许多自然语言处理应用具有重要意义。近年来，与关系抽取相关的研究势头越来越大，本文讨论了关系抽取的发展过程，并对近年来的关系抽取算法进行了分类。此外，我们还讨

关于推荐系统的技术架构，我认为应该是作为一个初学者首先需要认识的很明显，推荐算法是属于推荐系统的一部分。1 推荐系统架构图——baseline根据以上的很简单的架构图可以看出，一个推荐系统可以概括为f(U,I,C)f(U, I, C)f(U,I,C)：基于用户(User)+物品(Item)+场景(Context)信息，从系统中的物品库中，给对应的用户推荐相应的物品，也即实现所谓的”千人千面“。基于