一. 基础知识1. 马尔可夫假设马尔可夫过程（Markov Process）是一种随机过程，其中系统的未来状态只依赖于当前状态，而与过去的状态无关2. 高斯分布的KL散度KL散度（Kullback-Leibler Divergence）是一种衡量两个概率分布之间差异的指标, 取值范围是[0,+∞][0, +\infty][0,+∞], 越小说明两个概率分布越相似KL散度的定义KL散度的定义为两个概

使用python简单实现kd树的建立和搜索

python实现感知机

注意力机制的核心思想是模仿人类视觉的注意力行为：人类观察复杂场景时，会有选择性地关注其中的关键部分，而忽略其他不重要的区域。同样地，在深度学习中，注意力机制能够让模型根据输入数据动态地分配不同的注意力权重，从而更有效地捕捉关键特征。

（位置嵌入）用于在神经网络中为输入序列中的每个位置编码位置信息，以便模型能够识别输入元素的顺序，从而帮助模型更好地理解数据结构。例如，在模型中，输入数据通常是一个无序的序列。即使一个句子被分割成一系列单词或词向量后，模型无法直接感知这些词的顺序关系。而序列中的位置顺序可能对任务（如翻译、文本生成或分类）至关重要。因此，需要通过将位置信息显式地融入模型的输入中。位置编码能够提供一种的通用机制，使模型

朴素贝叶斯最大化后验概率的推导

python实现感知机

本文对朴素贝叶斯算法进行了基本介绍, 对高斯, 多项式, 伯努利朴素贝叶斯进行了python代码实现