对比学习是一种无监督/自监督学习方法，通过构造正负样本对，拉近正样本距离、拉远负样本距离来学习数据表示。其核心包括数据增强、编码器网络、投影网络和对比损失函数。典型损失函数有对比损失、三重态损失、InfoNCE等。发展历程可分为四个阶段：早期方法如InstDisc使用memory bank存储负样本；改进方法如InvaSpread仅用mini-batch样本；后续MoCo、SimCLR等优化了负样

Seq2Seq模型是一种基于Encoder-Decoder结构的神经网络，用于处理序列到序列的转换任务。Encoder将不定长输入序列编码为固定维度向量，Decoder根据该向量逐步生成输出序列。传统Seq2Seq模型存在长序列性能下降问题，因此引入了注意力机制(Attention Mechanism)，通过动态计算输入序列各部分对当前输出的权重，提升模型对长序列的处理能力。注意力机制的核心包括相

本文介绍了无监督学习中的K-Means聚类算法。K-Means是一种通过迭代寻找k个聚类中心的算法，其目标是最小化簇内平方误差和。算法步骤包括：1)随机初始化k个质心；2)将每个数据点分配到最近质心对应的簇；3)根据当前簇成员重新计算质心位置；4)重复2-3步直至收敛。文章提供了Python实现代码，包括质心初始化、K-Means核心算法和可视化部分，使用sklearn生成模拟数据验证算法效果。K

全连接神经网络由输入层、隐藏层和输出层组成，其单元结构包含线性运算和激活函数。激活函数引入非线性特性，是神经网络学习复杂关系的关键。常见的激活函数包括Sigmoid（适用于分类但存在梯度消失）、Tanh（对称性更好）、ReLU（计算简单但可能神经元死亡）和Leaky ReLU（解决神经元死亡问题）。SoftMax专用于多分类输出层。前向传播是从输入层到输出层逐层计算的过程，包含线性运算和非线性变换

因为在网上搜索了好多篇博客都未能彻底解决问题，所以才写了这篇博客用于记录自己的踩坑历程和用于日后参考；因为是解决问题之后才写的博客，文中的命令也许会有差错，欢迎在评论区指正写的不好，希望我的踩坑经历能够帮助到您，蟹蟹(｡･ω･｡)

图神经网络（GNN）是一种处理图结构数据的深度学习模型。它将图中的节点、边和全局信息表示为向量，并通过多层神经网络进行特征提取和更新。GNN的核心在于信息传递机制，允许节点间通过边交换信息，并利用池化操作聚合信息。典型的GNN架构包含多个GNN块，每个块包含针对节点、边和全局属性的MLP。通过引入主节点实现全局信息共享，GNN能够处理节点分类、边预测和图级任务等不同问题。相比传统神经网络，GNN能

因为在网上搜索了好多篇博客都未能彻底解决问题，所以才写了这篇博客用于记录自己的踩坑历程和用于日后参考；因为是解决问题之后才写的博客，文中的命令也许会有差错，欢迎在评论区指正写的不好，希望我的踩坑经历能够帮助到您，蟹蟹(｡･ω･｡)

图神经网络（GNN）是一种处理图结构数据的深度学习模型。它将图中的节点、边和全局信息表示为向量，并通过多层神经网络进行特征提取和更新。GNN的核心在于信息传递机制，允许节点间通过边交换信息，并利用池化操作聚合信息。典型的GNN架构包含多个GNN块，每个块包含针对节点、边和全局属性的MLP。通过引入主节点实现全局信息共享，GNN能够处理节点分类、边预测和图级任务等不同问题。相比传统神经网络，GNN能

本文介绍了连续词袋模型(CBOW)的工作原理。CBOW通过上下文词预测中心词，包含三个关键层：1)embeddings层将词索引转换为词向量并求平均；2)线性层将向量映射到词汇表大小；3)Softmax层输出概率分布。损失函数采用负对数似然，通过反向传播更新嵌入矩阵和线性层权重。重点分析了前向传播的计算过程和各层梯度推导，阐明了CBOW不设激活函数的原因。该模型通过上下文词的平均向量预测中心词，能