硬件加速器：例如 GPU（图形处理单元）、TPU（张量处理单元）、ASICs（应用特定集成电路）等。并行计算：多核处理器、分布式系统、超线程技术等。高效算法：如 FFT（快速傅里叶变换）、Strassen算法（快速矩阵乘法）等。内存和存储技术：如 SSD、RAM、以及新型存储技术如 3D XPoint。计算机视觉：包括以卷积神经网络（CNN）和图像处理在内的一系列内容，应用于图像识别、目标检测、图

在文字数据中，样本与样本之间的联系是语义的联系，语义的联系即是词与词之间、字与字之间的联系，因此在文字序列中每个样本是一个单词或一个字（对英文来说大部分时候是一个单词，偶尔也可以是更小的语言单位，如字母或半词），故而在中文文字数据中，一张二维表往往是一个句子或一段话，而单个样本则表示单词或字。

在深度学习的世界中，某一领域的架构/算法往往是根据该领域中特定的数据状态设计出来的。例如，为了处理带有空间信息的图像数据，算法工程师们使用了能够处理空间信息的卷积操作来创造卷积神经网络；又比如，为了将充满噪音的数据转变成干净的数据，算法工程师们创造了能够吞吃噪音、输出纯净数据的自动编码器结构。

AI大模型是“人工智能预训练大模型”的简称，包含了“预训练”和“大模型”两层含义，二者结合产生了一种新的人工智能模式，即模型在大规模数据集上完成了预训练后无需微调，或仅需要少量数据的微调，就能直接支撑各类应用。AI大模型主要分为三类：大语言模型、CV大模型和多模态大模型，我将分别介绍它们的背景知识、关键技术、演进路线和挑战。

在生成式任务中，RNN需要一个字、一个字、或一个词一个词地进行生成，在多次生成中逐渐构建出一个完整的句子或段落（所以你可能会观察到，ChatGPT这样的产品在说话的时候是一个词一个词往外蹦），所以生成式RNN的输出层和分类任务中的输出层有很大的区别。首先，NLP算法的生成并不能“无中生有”，模型只能从它曾经见过的字/词/短语中挑选它认为当下最能在语义上自洽的字/词/短语来进行输出，所以生成的本质是

在生成式任务中，RNN需要一个字、一个字、或一个词一个词地进行生成，在多次生成中逐渐构建出一个完整的句子或段落（所以你可能会观察到，ChatGPT这样的产品在说话的时候是一个词一个词往外蹦），所以生成式RNN的输出层和分类任务中的输出层有很大的区别。首先，NLP算法的生成并不能“无中生有”，模型只能从它曾经见过的字/词/短语中挑选它认为当下最能在语义上自洽的字/词/短语来进行输出，所以生成的本质是

推理阶段的内存需求主要由模型权重、KV缓存和激活内存组成。其中，模型权重是内存占用的主要部分。训练阶段的内存需求通常是推理的4-6倍，因为需要额外存储梯度、优化器状态（如Adam优化器需要额外8字节/参数）等。

深度学习的概念源于人工神经网络的研究，是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。不论是机器学习还是深度学习，都是通过对大量数据的学习，掌握数据背后的分布规律，进而对符合该分布的其他数据进行准确预测。

硬件加速器：例如 GPU（图形处理单元）、TPU（张量处理单元）、ASICs（应用特定集成电路）等。并行计算：多核处理器、分布式系统、超线程技术等。高效算法：如 FFT（快速傅里叶变换）、Strassen算法（快速矩阵乘法）等。内存和存储技术：如 SSD、RAM、以及新型存储技术如 3D XPoint。计算机视觉：包括以卷积神经网络（CNN）和图像处理在内的一系列内容，应用于图像识别、目标检测、图

在文字数据中，样本与样本之间的联系是语义的联系，语义的联系即是词与词之间、字与字之间的联系，因此在文字序列中每个样本是一个单词或一个字（对英文来说大部分时候是一个单词，偶尔也可以是更小的语言单位，如字母或半词），故而在中文文字数据中，一张二维表往往是一个句子或一段话，而单个样本则表示单词或字。