3.4. 马尔可夫决策过程如果有一个外界的“刺激”来共同改变这个随机过程，就有了。

本书之前介绍的 Q-learning、DQN 及 DQN 改进算法都是基于价值（value-based）的方法，其中 Q-learning 是处理有限状态的算法，而 DQN 可以用来解决连续状态的问题。在强化学习中，除了基于值函数的方法，还有一支非常经典的方法，那就是基于策略（policy-based）的方法。对比两者，基于值函数的方法主要是学习值函数，然后根据值函数导出一个策略，学习过程中并不存

这样，我们的方法只需要对所有区域对之间的𝑀2相关性进行建模1，其中通常𝑀≪𝑁。此外，提出一种基于矩阵分解的元学习器，使细胞对随时间变化的外部因素产生特异性响应。实验结果表明，与目前最先进的方法相比，STRN在使用更少参数的情况下，误差降低了7.1% ~ 11.5%。此外，我们还部署了一个名为UrbanFlow 3.0的云系统，以展示该方法的实用性。本文将城市流量预测的视野扩展到细粒度，提出了

这样做是因为时间序列数据通常来自工业或医疗领域，这些领域的专家通常可以从领域专家那里获得专家特征，而时间序列数据的转换通常很难实现。本文提出了有用的时间序列表示应该满足的两个属性，并表明当前的表示学习方法不能确保这些属性。本文设计了ExpCLR，一种新的对比学习方法，建立在利用专家特征来鼓励学习到的表示的这两种属性的目标上。在三个真实世界的时间序列数据集上证明，ExpCLR在无监督和半监督表示学习

尽管我们已经见证了预训练模型在自然语言处理(NLP)和计算机视觉(CV)领域的巨大成功，但在一般时间序列分析方面的进展有限。与NLP和CV可以使用统一的模型执行不同的任务不同，在分类、异常检测、预测和少量学习等每一个时间序列分析任务中，专门设计的方法仍然占主导地位。我们的结果表明，在自然语言或图像上进行预训练的模型可以在所有主要的时间序列分析任务中产生相当的或最先进的性能，如图1所示。利用预训练的

FreTS的频率学习架构如图所示，主要包括域转换/反演阶段、频域mlp以及相应的两个学习器，即频通道学习器(frequency Channel Learner)和频时学习器(frequency Temporal Learner)。在13个现实世界基准(包括7个短期预测基准和6个长期预测基准)上进行的广泛实验表明，我们的方法优于最先进的方法。使用傅里叶变换可以将时间序列信号分解成其组成频率，正如前面

它们是互补的，可以为强化学习获得更多信息的反馈:(1)提供更容易的子任务的密集奖励，而(2)修改子任务的环境，使其更具挑战性和多样性。子任务树为每个策略提供了一个易于实现的课程:其自上而下的构建逐渐增加规划器需要生成的子任务，而环境和强化学习之间的对抗性训练遵循自下而上的遍历，从更容易的子任务的密集序列开始，允许更频繁的环境变化。虽然已经对基于模型的算法的悲观变体(例如，具有下界的值迭代)进行了理

循环自编码器是一种常用的时间序列异常检测模型，它利用异常点或异常段的高重建误差来识别异常点或异常段。然而，现有的循环式自动编码器由于序贯解码，容易出现过拟合和错误累积的问题。在本文中，我们提出了一种简单而有效的循环网络集成，称为多分辨率集成译码循环自编码器(RAMED)。通过使用不同译码长度的译码器和一种新的粗到细融合机制，较低分辨率的信息可以帮助译码器实现高分辨率输出的长距离译码。进一步引入多分

不同类型的方法，包括基于统计的方法和基于机器学习的方法，已经被研究。为了应对这一挑战，我们提出了一种基于强化学习(RL)的模型组合(RLMC)框架，用于确定时间序列预测任务集合中的模型权重。值得注意的是，我们可以选择不同类型的算法，例如经典的统计模型或神经网络作为基础模型，以增加多样性。给定N个预先训练的模型，动作a=(w1，···，wN)是一个概率单形。当集成模型由多个不同的基础模型组成时，我们

Spatial-Temporal Fusion Graph Neural Networks for Traffic Flow Forecasting (AAAI-21)交通流量预测问题背景：1）第一个限制是缺乏信息图结构信息。现有模型大多只利用给定的空间邻接矩阵对图进行建模，在对邻接矩阵建模时忽略了节点之间的时间相似性 2）目前的时空数据预测研究在捕捉局部相关性和全局相关性之间的依赖方面是无效的。