当前主流的序列转换模型依赖于复杂的循环神经网络或卷积神经网络，它们通常由编码器和解码器构成。性能最好的模型通过注意力机制将编码器与解码器连接起来。我们在本文中提出了一种新颖且结构简单的网络架构-Transformer，该架构完全基于注意力机制，彻底去除了循环和卷积结构。我们在两个机器翻译任务上的实验显示，transformer模型不仅在质量上优于现有模型，同时更易并行训练，所需训练时间也显著减少。

像ChatGPT这样的AI写手可以帮助我们大幅度提高工作效率，尤其是在代码生成、文档编写等方面。但对于是否需要深入学习基础算法和刷力扣这类问题，还是有一些值得思考的地方。

Tokenizer 是“切词工具”，词表是“词与编号的字典”，Tokenizer 切出来的词会根据词表映射成对应的 token ID。

自然语言处理（Natural Language Processing, NLP）是人工智能（AI）的一个重要分支，研究如何让计算机理解、生成、分析和与人类语言进行交互。换句话说，NLP 是让机器像人一样“读、写、听、说”的技术，它结合了语言学、机器学习、计算机科学等多学科知识。未来，随着技术的进步，NLP 将进一步推动人机交互的自然化和智能化。NLP 的核心目标是将非结构化的自然语言（如文本和语音

指的是在模型训练时**未出现在词汇表（Vocabulary）**中的单词。在自然语言处理（NLP）任务中，未登录词通常会带来挑战，因为模型在训练时从未见过这些单词，因此无法直接为它们提供词向量或处理它们的语义信息。未登录词（OOV）是 NLP 任务中的常见问题，因为模型的词汇表通常是有限的，而语言是不断变化的。FastText（基于 Word2Vec）可以有效处理未登录词，它的核心思想是。在一些

在多模态学习中，由于每种模态的数据结构和表示方法不同，特征提取的目标是从每个模态中提取出最有意义的部分，并通过合适的方式表示出来，使得机器能够理解并用于下游任务（如分类、回归、生成等）。不同于传统的单一模态任务，在多模态学习中，如何有效地从每种模态中提取出有意义的信息并进行融合，直接影响到最终模型的性能和准确性。在文本数据中，每个词或短语可能代表不同的语义信息，因此如何从这些词汇中提取出能够有效描

LLaMA-2 7B 适合轻量级推理任务，在开源生态中具备很强的竞争力，尤其适用于。（70 亿参数）版本。LLaMA-2 作为 LLaMA 的升级版本，专为。LLaMA-2 7B 是 Meta（前 Facebook）推出的。设计，支持开源使用，并可用于研究和商业用途。

plt.rcParams["axes.unicode_minus"] = False # 正常显示负号。# --- 安装并启用中文字体（Colab环境） ---print("✅ 中文字体已启用，可以正常显示。# 设置全局中文字体。

自然语言处理（Natural Language Processing, NLP）是人工智能（AI）的一个重要分支，研究如何让计算机理解、生成、分析和与人类语言进行交互。换句话说，NLP 是让机器像人一样“读、写、听、说”的技术，它结合了语言学、机器学习、计算机科学等多学科知识。未来，随着技术的进步，NLP 将进一步推动人机交互的自然化和智能化。NLP 的核心目标是将非结构化的自然语言（如文本和语音

CLIP是一种强大的多模态模型，通过联合学习文本和图像，能够在广泛的任务上提供强大的跨模态能力。它的成功源于大规模的对比学习训练，使得它在图像-文本对齐任务上表现卓越，特别是在零样本学习等任务中展现了极高的灵活性。