基于统计方法的语言模型主要是指利用统计学原理和方法来构建的语言模型，这类模型通过分析和学习大量语料库中的语言数据，来预测词、短语或句子出现的概率。

Transformer 是一类基于注意力机制（Attention）的模块化构建的神经网络结构。给定一个序列，Transformer 将一定数量的历史状态和当前状态同时输入，然后进行加权相加。对历史状态和当前状态进行“通盘考虑”，然后对未来状态进行预测。

循环神经网络（Recurrent Neural Network, RNN）是一类网络连接中包含环路的神经网络的总称。给定一个序列，RNN 的环路用于将历史状态叠加到当前状态上。沿着时间维度，历史状态被循环累积，并作为预测未来状态的依据。RNN 可以基于历史规律，对未来进行预测。

为了弥补 Encoder-only 架构在文本生成任务上的短板，Encoder-Decoder 架构在其基础上引入了一个解码器（Decoder），并采用交叉注意力机制来实现编码器与解码器之间的有效交互。其中分词器和输出文本只在训练阶段存在，而实现“自回归”的红色虚线只在推理阶段存在。具体来说，解码器包含了输出编码、特征解码以及输出生成三个部分。与编码器中的输入编码结构相同，包含分词、向量化以及添加

目录说明：bin：存放启动 / 停止数据库的脚本（如 neo4j.bat 是 Windows 启动脚本）；conf：核心配置文件目录（重点修改 neo4j.conf）；data：存储数据库数据（节点、关系等）；logs：日志文件目录（排查错误用）。

使用特殊符号（如箭头）代替 NoOp 节点，直接在节点之间表示数据流向，减少节点数量，使图更清晰。例如，使用向上的箭头表示节点有一个输出指向 NoOp，使用向下的箭头表示节点有一个输入来自 NoOp。节点聚类和边缘捆绑： 根据命名空间和节点类型对节点进行聚类，并将同一层级的节点之间的多条边捆绑成一条边。将同一层且只有一个输出、没有输入且指向相同目标节点的常量节点合并成一个节点，减少节点数量，简化图

LLM（Large Language Model，大型语言模型）是指基于大规模数据和参数量的语言模型。Transformer 架构：大模型 LLM 常使用 Transformer 架构，它是一种基于自注意力机制的序列模型Transformer 架构由多个编码器层和解码器层组成，每个层都包含多头自注意力机制和前馈神经网络。这种架构可以捕捉长距离的依赖关系和语言结构，适用于处理大规模语言数据。自注意力

用户分类：根据用户的角色和职责划分用户类型，例如管理员、开发者和普通用户。角色创建：为不同的用户或服务创建特定的角色，这些角色具有不同的访问权限。例如，开发者角色可以管理函数代码，但不能删除函数。

留余数法：简单易用，适合整数，但对数组大小选择敏感。折叠法：适合处理长键，具有较好的分布性，但实现较复杂。乘法哈希：能够生成更均匀的哈希值，适用性广，但实现相对复杂。

Encoder-only 架构凭借着其独特的双向编码模型在自然语言处理任务中表现出色，尤其是在各类需要深入理解输入文本的任务中。Encoder-only 架构仅选取了 Transformer 中的编码器（Encoder）部分，用于接收输入文本并生成与上下文相关的特征。具体来说，Encoder-only 架构包含三个部分，分别是输入编码部分，特征编码部分以及任务处理部分，具体的模型结构如图。输入编码