另外，由于这个过程是可微分的，我们可以使用它作为损失函数去引导我们的扩散模型。第一，我们是在从 UNet 得到噪声预测后才给 x 设置 requires_grad 的，这样对内存来讲更高效一点（因为我们不用穿过扩散模型去追踪梯度），但这样做梯度的精度会低一点。这里我们要介绍引导（guidance），它可以用来在采样的过程中施加额外控制。第一步，我们先创建一个函数，定义我们希望优化的一个指标（损失值

自动驾驶基础和软硬件架构

LiDAR（激光雷达）可以感知到汽车四周所有方向并且能够提供非常准确的距离信息。如果要在一维空间中构建一个基本的 LIDAR，通常需要三个组件：一个激光器、一个光电探测器和一个非常精确的秒表。激光器首先沿着一些已知的射线方向发射近红外频带内的短脉冲。与此同时，秒表开始计数。激光脉冲以光速从传感器向外行进并击中远距离目标。只要目标表面没有抛光或发亮，激光脉冲就会从目标表面向各个方向散射，其中一些反射

这里写目录标题一级目录二级目录三级目录一级目录二级目录三级目录

文章目录一、马尔科夫决策过程1.马尔科夫链2.马尔科夫奖励过程3.马尔科夫决策过程4.马尔科夫决策过程的决策评价5.马尔科夫决策过程的控制二、表格型方法三级目录一、马尔科夫决策过程马尔科夫过程描述了强化学习的框架。在马尔科夫过程中，环境是完全可以观测的，但是很多时候环境里面有些量是不可观测的，但是这个部分观测的问题也可以转换成一个 MDP 的问题。在介绍马尔可夫决策过程之前，先梳理一下马尔可夫链、

卡尔曼滤波器与线性递归最小二乘滤波器非常相似。递归最小二乘可以更新参数的估计值，但卡尔曼滤波器却能够对状态量进行估计和更新。卡尔曼滤波器的目标是对该状态量进行概率估计，主要是分两步实时更新：预测和修正。首先从时间 k − 1 时的初始概率估计开始，我们使用从车轮里程计或惯性传感器测量得出的数据使用运动模型来预测汽车的位置。然后，我们使用从 GPS或Lidar 测量得出的数据并使用测量模型来修正 k

此外，除了把用于暗示带噪程度的timestep输入进 UNet 作为条件外，这里模型也把文字提示（prompt）的文本嵌入（text embeddings）作为了额外输入。可变分自编码器（VAE）是一种模型，它可以将输入编码成一种被压缩过的表示形式，再把这个“隐式的”表示形式解码成某种接近输入的输出。首先，我们手动进行分词，并将它输入到文本编码器中，再使用管线的 _encode_prompt 方法

文章目录一、离散动作和连续动作二、DDPG(Deep Deterministic Policy Gradient)Actor-Critic结构一、离散动作和连续动作离散动作与连续动作是相对的概念，一个是可数的，一个是不可数的。离散动作比如推小车的方向有前后左右四个方向连续动作比如说推小车力的大小、 选择下一时刻方向盘的转动角度或者四轴飞行器的四个螺旋桨给的电压的大小等等。对于这些连续的动作控制空间

文章目录一、图卷积网络（Graph Convolutional Network）1.核心公式2.算法流程二、图注意力算法（GAT）1.计算方法2.多头Attention三、空间GNN四、编程实践一、图卷积网络（Graph Convolutional Network）在深度学习中，可以对图像进行卷积操作，即卷积神经网络。图像的卷积操作是将一个像素点周围的像素按照不同的权重叠加起来。将卷积的概念类比到

文章目录一、DQN1.状态价值函数的估计方法2.Q函数3.DQN网络中的tips（1）目标网络（2）Exploration（3）Experience Replay(经验回放)4.DQN算法总结二、Q-learning进阶三、连续行为的Q-learning四、Actor-critic一、DQN在 Q-learning 中，我们使用表格来存储每个状态 s 下采取动作 a 获得的奖励，即状态-动作值函数