‌词嵌入作为语言模型的输入表示层‌，将文本中的单词或子词（如通过BPE分词）映射为高维向量（例如512维或1024维），这些向量在空间中通过相对位置编码语义相似性（如“猫”和“狗”的向量接近），从而为模型提供语义基础。‌词嵌入与语言模型的集成体现在技术演进中‌，早期NLP系统将词嵌入作为独立预处理步骤，而现代大语言模型（LLM）将嵌入层深度集成到端到端架构中，嵌入向量随模型训练联合优化，成为理解与

RNN 可以处理变长的输入序列，并生成相应的输出序列。‌挑战与发展趋势：‌ 该任务面临的主要挑战包括‌语义歧义‌、‌领域适应性‌和‌小样本学习‌。‌同步的序列到序列任务的核心特征是元素级对齐，‌ 与异步序列到序列（如机器翻译）不同，其输出长度通常与输入一致，常见于序列标注问题，其中输入是一个序列，输出是相同长度的标记序列。自然语言处理中的序列标注任务是指为输入序列（如句子中的每个单词或字符）分配一

首先需明确NLP任务目标（如文本分类、机器翻译），并据此收集相关语料库。数据来源包括公开数据集（如维基百科）、网络爬虫抓取或业务数据。数据需与任务分布匹配，避免偏差。‌‌。

生成式模型通常使用无监督学习技术，在没有明确标签或目标的情况下学习数据中的模式和结构，从而能够生成数据而不需要具体的示例，这类模型的一个关键特征是它们能够产生多样化的输出，例如生成不同风格的艺术作品或以不同方式重新表述文本。生成器的任务是生成新的图像，判别器的任务是判断生成的图像是否与真实图像相似。而视觉大模型是专门处理‌视觉数据‌（如图像或视频）的大型深度学习模型，通常参数量巨大且基于深度学习架

在NVIDIA团队纯模仿学习的基础上，Waymo团队于2018年通过论文《ChauffeurNet: Learning to Drive by Imitating the Best and Synthesizing the Worst》提出了一种混合模仿学习和对抗生成数据的自动驾驶方法，该方法的输入值是BEV鸟瞰图，包含车道、障碍物、交通灯等语义分割结果，以及车辆过去一秒的历史轨迹。‌ 它接收感知

Transformer模型是一种深度学习架构，最初为自然语言处理任务设计，其核心创新在于利用自注意力机制捕捉序列中元素间的全局关系，从而克服传统循环神经网络在处理长序列时的效率与依赖性局限。‌由Vaswani等人在2017年的论文《Attention Is All You Need》中首次提出。它完全摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）结构，仅使用注意力机制来处理序列数据。

•在feature map上滑动窗口•建一个神经网络用于物体分类+框位置的回归•滑动窗口的位置提供了物体的大体位置信息•框的回归提供了框更精确的位置。

基于Transformer的通用视觉模型‌：这类模型以视觉Transformer（ViT）为基础架构，通过自监督或对比学习预训练，适用于图像分类、检测和分割等任务。视觉-语言预训练模型‌：这类模型联合学习图像和文本表示，支持图文检索、开放词汇检测等任务。视觉语言模型（VLM）‌：这类模型联合学习图像和文本的表示，支持图文理解、视觉问答、图像描述生成等任务。多模态与新兴模型‌：扩展至视频、3D等场景

中药方剂的组成复杂，传统方法依赖于中医专家的经验和知识，VAE可以用于中药方剂的生成，通过学习大量已有的中药方剂数据，提取方剂的潜在特征，从而生成新的方剂；在异常检测领域，VAE 可以通过学习正常数据的分布，当输入数据与正常数据的分布差异较大时，判断其为异常数据，例如在工业生产中检测产品的缺陷，在医疗影像中检测病变等。判别器则扮演着火眼金睛的 “鉴别专家”，它接收真实数据和生成器生成的假数据，经过

人体姿态估计(Human Pose Estimation, HPE) 是指通过计算机视觉技术来推测或估计人体在三维空间中的姿态信息，包括关节位置、角度和身体姿势等。本质上，它是一种捕获每个关节（手臂、头部、躯干等）的一组坐标的方法，该坐标被称为可以描述人的姿势的关键点(keypoint)。目前主流的人体姿态估计算法可以划分为传统方法和基于深度学习的方法。