阿尔伯塔大学

阿尔伯塔机器智能研究所

DeepMind Alberta

历史表明，通往稳固研究共识的道路是异常艰辛的。

—— Thomas Kuhn，《科学革命的结构》

---

摘要

本文阐述了我们对人工智能（AI）研究的方法，我们称之为 Alberta 计划（Alberta Plan）。Alberta 计划在阿尔伯塔的研究团队中推行，并得到了全世界志同道合者的响应。我们欢迎所有愿意加入这一追求的人。

Alberta 计划是一个面向计算智能基础理解的长期计划。这是一个未来5到10年的计划。它不关注我们目前能够做的即时应用，而是关注我们当前理解中的空白。

随着计算智能被理解，它无疑将深刻影响我们的经济、社会和每个人的生活。尽管所有后果都难以预见，每一种强大的技术都包含被滥用的潜力，但我们坚信，更具远见的、更复杂的智能的存在总体上对世界是有益的。

根据 Alberta 计划，我们致力于理解和创造长寿的计算智能体（computational agents），这些智能体与远比自身复杂的世界进行交互，并学会预测和控制它们的感官输入信号。

智能体之所以复杂，仅仅因为它们在一个复杂的世界中长时间交互；它们的初始设计尽可能简单、通用和可扩展。为了控制输入信号，智能体必须采取行动。为了适应变化和世界的复杂性，它们必须持续学习。为了快速适应，它们必须利用学到的世界模型进行规划。

本文的目的有两个。一是描述我们对AI研究的愿景及其背后的智力承诺和优先事项。二是描述这一愿景可能展开的路径，以及我们将追求的研究问题和项目。

我们为实现第一个目标所说的内容是为了清楚记录我们的出发点；研究策略的这一部分预计将相对稳定。我们为实现第二个目标所说的内容则更具当代性。航程是不确定的；我们的路径存在空白和不确定性。尽管如此，我们仍尝试尽可能具体地规划前方的道路，以便我们知道我们试图去向何方，即使最终我们走了另一条路或到达了一个略有不同的目的地。

---

研究愿景：智能作为随时间的信号处理

我们致力于理解和创造长寿的计算智能体，这些智能体与远比自身复杂的世界进行交互，并学会预测和控制它们的感官输入信号，特别是一种称为**奖励（reward）**的标量信号。我们所考虑的整体框架对强化学习领域来说是熟悉的（图1）。

        ┌──────────┐
        │          │
   ┌────┤   环境   ├────┐
   │    │          │    │
   │    └──────────┘    │
   │                    │
  观察                  动作
   │                    │
   │    ┌──────────┐    │
   └────┤          ├────┘
        │  智能体  │
        │          │
        └──────────┘

图1：在 Alberta 计划的研究愿景中，一个智能智能体从环境中接收观察和奖励信号，并试图通过其动作来控制这些信号。这是高级强化学习中的标准视角。

智能体和环境在精细的时间尺度上交换信号。智能体向环境发送动作，并从环境接收感官信号。较大的感官信号——观察（observation）——不期望提供关于环境状态的完整信息。第二种感官信号——奖励（reward）——是标量的，定义了智能体的最终目标：最大化随时间累积的奖励总和。这三个时间序列——观察、动作和奖励——构成了智能体的经验（experience）。我们期望所有的学习都建立在这三个信号的基础上，而非环境的内部变量。只有经验对智能体可用，环境仅作为这些信号的来源和汇（sink）而被知晓。

四个区别性特征

Alberta 计划研究愿景的第一个区别性特征是强调普通经验（ordinary experience），即上述描述的经验，而非特殊训练集、人类辅助或对世界内部结构的访问。尽管有许多方式可以让人类输入和领域知识用来改善AI的性能，但这类方法通常不会随计算资源而扩展，因此不是我们的研究优先事项。

第二个区别性特征可以概括为**时间均匀性（temporal uniformity）**这一短语。时间均匀性意味着对于智能体上运行的算法来说，所有时刻都是相同的。没有特殊的训练期，在这些期间训练信息可用或奖励被更多或更少地计算。如果提供了训练信息（如通过奖励信号），那么它在每个时间步都提供。如果智能体学习或规划，那么它在每个时间步都学习或规划。如果智能体构建自己的表示或子任务，那么构建它们的元算法在每个时间步都运行。如果智能体能够在环境的部分显得稳定时降低其学习速度，那么当它们开始变化时它也能增加学习速度。我们对时间均匀问题和算法的关注引导我们关注非平稳的持续环境和持续学习与元学习的算法。

时间均匀性部分是对我们研究内容的约束，部分是我们强加给自己的纪律。保持所有时间上的均匀性减少了自由度，缩小了智能体设计空间。为什么不保持所有时间上的均匀性呢？在提出这个修辞问题后，我们承认在某些情况下偏离绝对时间均匀性可能更可取。但当我们这样做时，我们意识到自己正走出这一纪律的边界。

第三个区别性特征是对**计算考虑（computational considerations）**的认知。摩尔定律及其推广带来了计算机能力的稳定指数增长，我们必须优先选择能够与计算能力成比例扩展的方法。计算机能力虽然是指数级增长的，但从来不是无限的。我们拥有的越多，高效使用它就越重要，因为它越来越成为我们智能体性能的决定性因素。我们必须吸取AI过去的惨痛教训（bitter lesson），优先选择能够与计算能力大规模扩展的方法，如学习和搜索，同时淡化那些不能扩展的方法，如人类对问题领域的洞察和人工标注的训练集。

除了这些大规模含义外，计算考虑还渗透到智能体设计的每个方面。例如，对于智能体来说，快速反应观察的变化通常很重要。但鉴于计算限制，反应时间和决策质量之间总是存在权衡。时间步应该是均匀长度的。如果我们希望智能体快速响应，那么时间步必须很小——小到不足以确定最佳动作。规划可能提供更好的动作，但规划甚至学习都需要时间；有时快速行动比采取最佳行动更好。

以这种方式优先选择反应性动作并不排除规划的重要作用。反应性策略可能推荐一个权宜动作，直到规划改善了策略，再采取更确定的动作，就像棋手可能在确定走法之前等待一样。规划是智能的重要组成部分，也是我们研究愿景的重要组成部分。

第四个区别性特征是它包括对环境包含其他智能智能体的特殊情况的关注。在这种情况下，主要智能体可能学会与环境交流、合作和竞争，并应认识到环境可能对其动作做出不同的反应。AI对博弈的研究通常必须处理这些问题。两个或多个合作智能体的情况还包括认知助手和假体。这种情况作为智能放大（Intelligence Amplification, IA）——人机交互的一个子领域——来研究。一个智能体可以利用它所学的东西来放大和增强另一个智能体的行动、感知和认知，存在普遍原则，这种放大是实现AI全部潜力的重要组成部分。

Alberta 计划将AI问题刻画为通过持续的感知和行动在线最大化奖励，计算能力有限，且可能面临其他智能体。这种刻画可能看起来自然，甚至显而易见，但它也与当前实践相反——当前实践通常关注离线学习、准备好的训练集、人类辅助和无限计算。Alberta 计划的研究愿景既是经典的也是反传统的，在追溯根本的意义上是激进的。

---

研究计划

所有研究计划都是可疑的和临时的。尽管如此，我们必须制定它们以便在我们之间沟通和高效协作。Alberta 计划不是要限制团队成员个人做什么，而是试图对我们共同做什么达成共识。

围绕基础智能体进行设计

我们在智能体设计方面的研究从图2所示的标准或基础智能体（base agent）开始，它本身基于被称为AI、心理学、控制理论、神经科学和经济学共通的**“智能智能体的通用模型（Common Model of the Intelligent Agent）”**（Sutton 2022）。

                ┌──────────────┐
                │   状态转移    │
                │   模型       │
                └──────┬───────┘
                       │
        观察 ──► 感知  │  规划
                (感知) │   │
                  │    │   │
                  ▼    │   ▼
                 状态  │  学习
                  │   ◄──────┐
                  ▼          │
              反应性  ◄──────┘
               策略
                  │
                  ▼
                动作

图2：Alberta 计划的基础智能体由四个组件组成，通过感知组件构建的状态信号相互连接。所有组件都可以学习。

我们的基础智能体有四个主要内部组件：

1. 感知（Perception）：更新智能体过去经验的摘要或**状态（state）**的组件，然后由所有组件使用。

2. 反应性策略（Reactive policies）：包括主策略（primary policy），它选择将发送到环境的动作，并将朝着最大化奖励的目标更新。感知和主策略一起将观察映射到动作，因此可以作为一个最小智能体。我们的基础智能体允许存在其他反应性策略，可能最大化除奖励之外的其他量。每个策略都有一个相应的**价值函数（value function）**用于学习它。所有价值函数构成价值函数组件。

   允许多个策略和价值函数是我们的基础智能体与通用智能智能体模型的主要区别。

3. 转移模型（Transition model）：代表智能体对世界动态的知识。转移模型从观察到的动作、奖励和状态中学习，不涉及观察。一旦学会，转移模型可以接收一个状态和一个动作，预测下一个状态和下一个奖励。通常，模型可以是时间抽象的（temporally abstract），即它接收的不是一个动作，而是一个选项（option）（策略加终止条件），并预测选项终止时的状态和沿途累积的奖励。

4. 规划（Planning）：转移模型用于想象采取动作/选项的可能结果，然后由价值函数评估以改变策略和价值函数本身。规划像架构中的其他所有东西一样，应该是持续的和时间均匀的。在每个步骤上都会有一定量的规划，可能是一系列小的规划步骤，但规划通常不会在单个时间步内完成，因此与智能体-环境交互的速度相比是缓慢的。

规划是一个持续的过程，在后台异步运行，只要不妨碍前三个组件（它们必须在每个时间步上运行，称为前台运行）。在每个步骤上，新的观察必须由感知处理以产生状态，然后由主策略处理以产生该时间步的动作。价值函数也必须在前台运行，以评估每个时间步的新状态和采取前一个动作的决定。

我们的强烈偏好是在事件发生时完全处理它们。特别是，所有四个组件都通过在前台运行的学习过程进行更新，使用最近的事件以及短期信用分配记忆（如资格迹）。

我们的基础智能体是一个起点，我们经常偏离或扩展它。感知组件可能是理解最不充分的。尽管我们有静态设计感知过程的例子（如信念状态更新或在Atari中记忆四帧），但感知应该如何学习或元学习以最大支持其他组件仍是一个开放的研究问题。规划同样有很好理解的实例，但如何有效且通用地进行——用近似、时间抽象和随机性——仍不清楚。基础智能体还不包括子任务，尽管这些可能是发现有用的选项的关键。基础智能体中未提及的还有指导规划过程的算法，如优先扫除（prioritized sweeping），有时被通称为搜索控制（search control）。

也许基础智能体中理解最好的部分是价值函数和反应性策略的学习算法，但即使在它们的高级形式中也有改进空间，如涉及平均奖励、离策略学习和持续非线性学习。最后，给定选项的世界模型的学习在概念上是清晰的，但仍具有挑战性且未被充分探索。对所有这些算法的高级形式的更好理解是重要的进一步研究领域。

---

通往 AI 原型的路线图

"路线图"一词暗示着线性路径的绘制，一系列应该按顺序采取的步骤。这不完全错误，但未能认识到研究的不确定性和机遇。我们下面概述的步骤之间存在超出从第一个到最后一个的流程的多种相互依赖。路线图建议了一种自然的顺序，但在实践中常常会偏离它。有用的研究可以通过在任何步骤进入或附加到任何步骤来完成。作为一个例子，我们中的许多人最近在集成架构上取得了有趣的进展，尽管这些只在排序的最后几步中出现。

首先让我们尝试获得对路线图及其基本原理的整体理解。路线图共有十二个步骤，标题如下：

1. 表示 I：使用给定特征的持续监督学习
2. 表示 II：监督特征发现
3. 预测 I：持续广义价值函数（GVF）预测学习
4. 控制 I：持续 Actor-Critic 控制
5. 预测 II：平均奖励 GVF 学习
6. 控制 II：持续控制问题
7. 规划 I：基于平均奖励的规划
8. 原型-AI I：具有持续函数逼近的一步基于模型的强化学习
9. 规划 II：搜索控制与探索
10. 原型-AI II：STOMP 递进
11. 原型-AI III：Oak
12. 原型-IA：智能放大

这些步骤从开发核心能力（表示、预测、规划和控制）的新算法，向组合这些算法以产生用于持续的基于模型的AI的完整原型系统推进。

AI中的一个永恒困境是"部分与整体"。有效的核心能力算法不存在就无法构建完整的AI系统，但不知道需要哪些核心能力就无法知道直到完整系统被组装起来。为了解决这个鸡生蛋蛋生鸡的问题，我们必须同时研究鸡和蛋、系统和组件算法、部分和整体。结果是不完美的，有浪费的努力，但可能是不可避免的。

这个排序的理念是前置——尽早遇到具有挑战性的问题，以便它们可以在最简单的可能设置中首先被解决。

---

步骤 1. 表示 I：使用给定特征的持续监督学习

步骤1是 Alberta 计划主要策略的典范：通过考虑它产生的最简单设置来关注一个特定问题，并试图在那里完全解决它，然后再推广到更复杂的设置。步骤1关注的问题是持续学习和表示的元学习。学习如何能在长时间内快速、稳健和高效？如何利用长期学习来元学习更好的表示，从而最有效地学习？

步骤1使用的简单设置是监督学习和随机梯度下降，使用具有静态给定特征的线性函数逼近器。在这种设置中，传统的随机梯度下降方法（如最小均方学习规则）即使问题是非平稳的也能很好地工作。然而，这些方法在效率和稳健性方面可以显著改进，这就是步骤1的目的。

首先，这些方法通常涉及必须由专家用户借助对目标输出、特征、特征数量和经验法则的了解来设置的全局步长参数。所有这些用户专业知识都应该被一个用于设置步长参数的元算法所取代，以便相同的方法可以用于任何问题或大型问题的任何部分。其次，不应该有全局步长参数，而应该根据沿该特征应该进行多少泛化来为每个特征设置不同的步长参数。如果这样做，那么将有许多步长参数需要设置，通过算法设置它们就变得更加重要。

在这种设置中，表示就是特征，特征是给定和固定的，所以将其作为探索表示学习的方式可能令人惊讶。确实，这种设置不能用于发现特征或搜索新特征，但它可以用来评估给定特征的效用——这是完整表示发现的重要前奏。即使不改变特征，也可以学习哪些特征是相关的，哪些不是。相关特征可以给予大步长参数，不相关特征给予小步长参数；这本身就是一种表示学习，即使不改变特征本身也能影响学习效率。

最后，存在可以极大影响学习效率而不改变线性函数逼近器表示能力的特征归一化（缩放和偏移），我们将这些包含在步骤1中。

具体而言，我们考虑一个期望行为的无限示例序列，每个示例由一个实值输入向量和一个实值期望输出组成。令第 t 个示例为一对 $(x_t,y_t^{\ast })$。学习者寻求找到一个从每个输入向量 $x_t$ 到输出 $y_t$ 的仿射映射，使其紧密逼近期望输出 $y_t^{\ast }$。该仿射映射表示为权重向量 $w_t$ 和标量偏置项 $b_t$。即输出为 $y_t=w_t^{\top }{x}_t+b_t$。目标是最小化平方误差 $(y_t^{\ast }-y_t{)}^2$，通过学习 $w_t$ 和 $b_t$ 来实现。每个示例是独立的，但生成它的分布随时间变化，使问题成为非平稳的。

特别地，我们可以将期望输出视为输入向量和随时间缓慢变化的未知目标权重向量 $w_t^{\ast }$ 的仿射函数，加上一个独立的均值为零的噪声信号：$y_t^{\ast }=w_t^{\ast \top }{x}_t+b_t^{\ast }+{\eta }_t$。如果 $w_t^{\ast }$ 或 $b_t^{\ast }$ 随时间变化，或者 $x_t$ 的分布随时间变化，则问题是非平稳的。

在这种简单设置中，仍有基本问题有待明确回答。我们特别关注归一化和步长适应的问题。在不改变线性学习单元的表达能力或其计算复杂度的顺序的情况下，我们可以将各个输入 $x_t^i$ 转换为归一化信号 ${\tilde{x}}_t^i=\frac{x_t^i-{\mu }_t^i}{{\sigma }_t^i}$，其中 ${\mu }_t^i$ 和 ${\sigma }_t^i$ 是第 i 个信号均值和标准差的非平稳（跟踪）估计。令人惊讶的是，这种在线归一化的效果在文献中尚未得到明确确立。

我们考虑如下形式的学习规则：

$$w_{t+1}^i=w_t^i+{\alpha }_t^i(y_t^{\ast }-y_t){\tilde{x}}_t^i,\forall i\text{\hspace{1em}(1)}$$

$$b_{t+1}=b_t+{\alpha }_t^b(y_t^{\ast }-b_t)\text{\hspace{1em}(2)}$$

其中每个 ${\alpha }_t^i$ 是一个元学习的、每权重的步长参数，${\alpha }_t^b$ 是另一个潜在可元学习的步长参数。步骤1的初步研究将集中于元学习步长参数的算法，建立在现有算法的基础上，并展示其改进的稳健性。

步骤1的总体理念是在给定固定特征表示的情况下设计尽可能强大的算法。它应该包括问题中关于非平稳性的所有最重要问题（对于一组固定的线性特征），包括特征相关性变化的跟踪。它应该包括特征相关性的元学习——表示学习中的一个具有挑战性的问题——可以说是最具挑战性的问题——但它不包括实际改变正在考虑的特征集；这在步骤2中探索。

---

步骤 2. 表示 II：监督特征发现

这一步侧重于在持续监督学习的背景下创造和引入新特征（通过组合现有特征），如步骤1，但现在目标将是向量 $y_t^{\ast }$ 由输出向量 $y_t$ 逼近。使 $y_t$ 的每个分量匹配被称为一个单独的任务。应该如何从现有特征中构建新特征以最大化新特征的潜在效用和实现该效用的速度，而不牺牲临时性能？特征构建如何借助先前构建和提供各种任务的经验来辅助？

我们现在有一个非平稳的多层多任务系统。如何将所有特征的效用分配给它们，同时考虑所有特征的效果和未来可能的效用？系统的性能将取决于资源预算（即可以同时考虑多少新非线性特征）。一个好的解决方案将包括一种评估现有特征并丢弃较有前景特征的方法，以便为新特征腾出空间。解决方法大概应该是某种形式的智能生成有前景的特征，然后智能测试以排名和替换它们。

这一步的目的是探索管理用于表示和学习特征的有限资源中的具有挑战性的问题。你可以表示和收集有限数量特征的数据。何时应该丢弃旧特征以便可以收集新特征的数据？新特征如何构建？如何选择被丢弃的特征？

---

步骤 3. 预测 I：持续 GVF 预测学习

将上述两个步骤重复用于序贯、实时设置，其中数据不是独立同分布（i.i.d.），而是来自具有状态的过程，任务是**广义价值函数（GVF）**预测。首先用给定的线性特征，然后用特征发现。新特征不仅包括非线性组合，还包括对旧信号和迹的合并。类似于经典的条件测试平台，并进行适当的非平稳性扩展，可能适合于此。理想情况下，这将一直延伸到离策略学习。理想情况下，这将是在具有循环网络的实时设置中，每个观察进行有限的处理量。

在这里，我们明确解决了构建状态的问题——标准智能体模型的感知部分。

---

步骤 4. 控制 I：持续 Actor-Critic 控制

将上述三个步骤重复用于控制。首先在传统的 k 臂老虎机设置中，然后在具有离散 softmax 动作的上下文老虎机设置中，然后在具有给定特征的序贯设置中，最后在具有特征发现的序贯设置中。在最后两个子步骤中，我们寻找一个 Actor-Critic 算法。Critic 大概将是步骤1-3的结果。Actor 将是类似但仍不同的，Actor 和 Critic 之间的交互（以及它们的支持特征）仍有待解决，以便学习是持续的和稳健的。

---

步骤 5. 预测 II：平均奖励 GVF 学习

这里的一般思想是将我们用于 GVF 的通用预测学习算法扩展到平均奖励情况。我们将累积量（cumulant）与终止值分离，累积量始终是奖励。然后似乎有两个相关的情况。一个是应该学习近似差分值的情况。在这种情况下，我们还学习平均奖励率，从观察到的奖励中减去它，终止永远不会发生。另一个是学习传统值（不减去平均奖励率）加上选项的期望持续时间。也许这些可以结合。但这两个似乎已经足够。

在前四步中学到的内容应该以最小改动转移到平均奖励 GVF 的学习算法中，用于预测和控制。

---

步骤 6. 控制 II：持续控制问题

我们需要一些持续问题来测试平均奖励的学习和规划算法。目前我们有 River Swim、访问控制排队、类似 Jellybean World 的觅食问题，以及 GARNET。OpenAI Gym 有许多情景问题应该转换为持续版本。

这前六个步骤（以上）旨在设计更持续的免模型（model-free）学习方法。它们构成了对所有标准免模型方法的彻底改造。这些方法为下一步提供了基础，下一步涉及环境模型和规划。

像智能体所做的所有事情一样，模型的学习和模型的使用应该以时间均匀的方式完成，如 Dyna 和异步动态规划中那样。一个早期的步骤是在具有平均奖励目标的持续设置中研究规划。

---

步骤 7. 规划 I：基于平均奖励的规划

开发基于异步动态规划的增量规划方法，用于平均奖励标准。这里的初始工作将针对表格情况，但函数逼近的情况应该紧随其后。后者应该纳入我们在步骤1-3和步骤5中学到的关于持续学习、元学习和特征发现的所有内容。

---

步骤 8. 原型-AI I：具有持续函数逼近的一步基于模型的强化学习

我们的第一个原型-AI将基于平均奖励强化学习、模型、规划和持续非线性函数逼近。这将超越过去在 Dyna 上的工作，纳入通用持续函数逼近，但仍将限于一步模型。换句话说，原型-AI 1将是一个集成架构，包含除时间抽象（选项）之外的所有内容。没有时间抽象，原型-AI 1将在许多方面软弱和受限（也许并不那么令人印象深刻），但它无疑将涉及自己的挑战。或者也许它很容易且不令人印象深刻，在这种情况下我们可以完成它并转向原型-AI II。

原型-AI 1将包括：a) 递归状态更新（感知）过程，b) 一步环境模型，大概是期望模型或样本模型或介于两者之间的东西，c) 如步骤2中的特征发现，利用来自模型的重要性反馈，d) 一个用于特征发现和确定哪些特征包含在环境模型中的特征排名，e) 模型学习和规划对特征排名的影响（一个循环），以及 f) 某种形式的搜索控制，可能包括类似 MCTS 或优先扫除的东西。子步骤 b、e 和 f 将涉及以前未面临过的具有挑战性的新问题，可能无法在时间抽象之前以完全令人满意的方式解决。

这一步和后续步骤将需要开发目标领域来开发和展示这些原型 AI 的能力。

---

步骤 9. 规划 II：搜索控制与探索

在第二个规划步骤中，我们开发规划的控制。规划被视为具有函数逼近的异步值迭代。异步值迭代允许以任何顺序更新状态，但选择的顺序极大地影响规划效率。有了函数逼近，效果更大。控制规划过程的早期努力包括优先扫除和小备份，一些尝试已将这些表格思想推广到线性函数逼近，并考虑了模型各部分的不确定性。最广泛地来看，搜索控制（改变状态更新顺序）使规划能够从蒙特卡洛树搜索根本性地转变为经典启发式搜索。

---

步骤 10. 原型-AI II：STOMP 递进

现在我们引入子任务和时间抽象。排名最高的特征每个都被做成一个单独的奖励尊重子任务，其终止值鼓励在特征高时结束。每个子任务被求解以产生一个选项。对于每个这样的选项，学习其模型并添加到用于规划的转移模型中。这种递进——子任务（SubTask）、选项（Option）、模型（Model）和规划（Planning）——被称为 STOMP 递进，用于时间抽象认知结构的发展（见图3）。

            ┌─────────────────────────────────┐
            │                                 │
            ▼                                 │
    状态特征 ──► 子任务 ──► 选项 ──► 模型 ──┘
    (发现)       (创建)     (学习)    (学习)
                           │
                           ▼
                      选项键盘
                    (组合选项)
                           │
                           ▼
                        规划
                    (值函数更新)
                           │
                           ▼
                    策略改进
                    (智能体行为)

图3：STOMP 递进和 Oak 架构中的抽象发展。选定的状态特征定义了要达到的子任务（右），这些子任务反过来定义了学习策略和终止条件（选项）及其相应价值函数（左下）的标准。选项反过来定义了学习其转移模型（左上）的标准，这些模型被规划过程（紫色箭头）用来改进策略和价值函数。从经验中学习（红色箭头）利用当前可用的特征（绿色箭头）作为函数逼近器的输入。从基于特征的子任务到选项到模型的递进构成了 STOMP 递进。完整的 Oak 架构添加了反馈过程，不断评估所有元素的效用，并确定哪些元素（特征、子任务、选项和选项模型）应该被移除并用新元素替换（见步骤11的正文）。特别是，被选择作为子任务基础的状态特征被改变，这改变了所有下游元素。状态和时间抽象在 Oak 架构中不断变化和改进。

学习过程以选项为条件，因此需要离策略完成。它们还需要纳入我们在早期步骤中学到的关于持续学习、元学习和规划的所有内容。

---

步骤 11. 原型-AI III：Oak

Oak 架构通过添加反馈过程来修改原型-AI II，这些反馈过程不断评估所有元素（特征、子任务、选项和选项模型）的效用，并确定哪些元素应该被移除并用新元素替换。例如，如果一个选项模型在规划中从未有用，那么它和相应的选项及子任务最终应该被删除，并用那些尚未作为子任务基础的新特征来替换。特征本身也在不断被评估其在学习和规划过程中的有用性。这应该导致特征按重要性重新排名，偶尔导致不太有用的子任务被移除并被新子任务替换。通过这些和其他方式，状态和时间抽象不断变化和改进。

此外，在这一步中我们引入选项键盘（option keyboard）。键盘隐喻是选项可以通过一个实值向量来引用，每个子任务有一个分量。即键盘的每个键引用基于实现相应特征的子任务的选项。具有多个非零分量的键盘向量——像在弦中同时弹奏多个键——引用基于分量选项组合的选项。

在一种设计中，选项以正常的离策略方式学习，每个都最大化其个体特征，弦选项是分量选项的固定混合，考虑到弦中每个分量音符/选项/特征/子任务的强度。在这种设计中，环境模型不学习分量选项（如原型-AI 2中那样），而是学习键盘上弹奏的任何弦选项。

在另一种设计中，键盘向量首先被解释为一个问题——作为使用通常奖励的子任务，在终止时接收与键盘向量的所有非零分量成比例的终止值。如果用两个完全为1的音符弹奏一个弦，那么子任务是在选项终止时最大化相应特征值的和。模型的学习方式与第一种设计完全相同（它对键盘向量的含义是无感知的，将其视为选项的非解释名称或描述符），但现在选项是朝向多分量子任务学习的，而不是朝向单独实现特征（除非弹奏的键盘向量恰好是 one-hot）。

---

步骤 12. 原型-IA：智能放大

展示智能放大（IA），其中一个原型-AI III 智能体被证明以非平凡的方式提高第二个智能体的速度和整体决策能力。我们将 IA 智能体的第一个版本视为可能最好被描述为计算外小脑（computational exo-cerebellum）（一个主要基于 Oak 和上述步骤的预测和持续特征构建元素的系统）。然后我们将第二个版本视为可能最好被理解为计算外大脑皮层（computational exo-cortex），它完全体现了 IA 智能体形成策略和使用规划来乘法增强另一个智能体或单个智能体部分智能的能力。我们将在人类-智能体和智能体-智能体交互设置中研究这两个版本。

如前所述，这个计划是临时的、草稿的、工作的。我们应该期望不断编辑它们。最后几步尤其不那么具体，随着我们接近它们可能会发生很大变化。我们对我们可能忽视的相关工作或相关计划的指点表示欢迎。

我们研究愿景中有重要部分可能最好被视为与这些步骤并行运行。这里我们想到的是对智能放大（步骤12中提到的）和机器人技术的研究。这些努力将与前十个步骤相互作用并提供信息，但可能应该在自己并行的步骤序列中发展，这些步骤序列尚待列出和排序。

---

注释

1. 例如，参见 Sutton & Barto (2018)。

2. 这个环境在技术上是一个部分可观察马尔可夫决策过程（POMDP），但该形式化在这里用处不大。

3. 这种方法的局限在博客文章《惨痛教训》（The Bitter Lesson, Sutton 2019）和演讲《人工智能的未来属于搜索和学习》（The Future of Artificial Intelligence Belongs to Search and Learning, Sutton 2016）中可访问地描述。

4. 非平稳环境、持续学习和元学习之间的相互作用已开始在一系列工作中被探索。有用的综述由 HadseII et al. (2020), Parisi et al. (2019), 和 KhetarpaI et al. (2020) 提供。我们还推荐 Thrun & Pratt (1998), Sutton, Koop and Silver (2004), Sutton (1991), Dohare (2020), Rahman (2020), 和 Samani (2022)。

5. 智能放大（IA）这一术语及其作为研究子领域的角色最初在1950年代和1960年代建立，主要由 Ashby (1956) 建立，并在 Licklider (1960) 和 Engelbart (1962) 的后续工作中得到发展。

6. 关于选项的更多信息，参见 Sutton, Precup & Singh (1999), Precup (2000), 和 Sutton & Barto (2018, 第7.2节)。

7. 如 Daniel Kahneman (2011) 关于系统1和系统2的工作。

8. 参见 Sutton and Barto (2018), 第13章。

9. 参见 Jaderberg et al. (2016), Sutton, et al. (2022)。

10. 参见 Moore & Atkeson (1993), Peng & Williams (1993)。

11. 现有算法包括 NADALINE (Sutton 1988b), IDBD (Sutton 1992a,b), Autostep (Mahmood et al. 2012), Autostep for GTD(λ) (Kearney et al. 2022), Auto (Degris in prep.), Adam (Kingma & Ba 2014), RMSprop (Tieleman & Hinton 2012), 和 Batch Normalization (Ioffe & Szegedy 2015)。

12. 如 Sutton et al. (2011) 所述，并首先在 Sutton (1988) 中指出，GVF 是将与奖励相关的价值函数推广到估计广泛范围的非奖励信号的时间扩展期望回报。

13. 优先扫除由 Peng and Williams (1993) 和 Moore and Atkeson (1993) 引入。Sutton, Szepesvári, Geramifard, and Bowling (2008) 将该思想推广到线性函数逼近。McMahan and Gordon (2005) 的工作是开创性的，发展到 Van Seijen and Sutton (2013) 关于小备份的工作。

14. 参见 Sutton, Machado, Holland et al. (2022)。

15. 如 Barreto et al. (2019)。

16. 基于预测的 IA 原型的一个初步例子是 Pilarski et al. (2022) 中描述的从基于 GVF 的协智能体到决策智能体的信号传递。

---

参考文献

• Ashby, W. R. (1956). An Introduction to Cybernetics. Chapman and Hall, London, UK.
• Barreto, A., Borsa, D., Hou, S., Comanici, G., Aygün, E., Hamel, P., Toyama, D., Hunt, J., Mourad, S., Silver, D., Precup D. (2019). The Option Keyboard: Combining Skills in Reinforcement Learning. In: Proceedings of the Conference on Neural Information Processing Systems (NeurIPS 2019).
• Dohare, S. (2020). The Interplay of Search and Gradient Descent in Semi-stationary Learning Problems. University of Alberta MSc thesis.
• Engelbart, D. C. (1962). Augmenting Human Intellect: A Conceptual Framework. Summary Report AFOSR-3223 under Contract AF 49(638)-1024, SRI Project 3578 for Air Force Office of Scientific Research, Stanford Research Institute, Menlo Park, CA.
• Hadsell, R., Rao, D., Rusu, A. A., Pascanu, R. (2020). Embracing change: Continual learning in deep neural networks. Trends in Cognitive Sciences, 24(12):1028–1040.
• Ioffe, S., Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. In: Proceedings of the International conference on machine learning (pp. 448–456).
• Jaderberg, M., Mnih, V., Czarnecki, W. M., Schaul, T., Leibo, J. Z., Silver, D., Kavukcuoglu, K. (2016). Reinforcement learning with unsupervised auxiliary tasks. arXiv:1611.05397.
• Kahneman, D. (2011). Thinking, Fast and Slow. Macmillan.
• Kearney, A., Koop, A., Pilarski, P. M. (2022) What’s a good prediction? Challenges in evaluating an agent’s knowledge. Adaptive Behavior, in press, doi:10.1177/10597123221095880.
• Khetarpal, K., Riemer, M., Rish, I., Precup, D. (2020). Towards continual reinforcement learning: A review and perspectives, arXiv:2012.13490.
• Kingma, D., Ba, J. (2014). Adam: A method for stochastic optimization. arXiv:1412.6980.
• Licklider, J. C. R. (1960). Man-Computer Symbiosis. IRE Transactions on Human Factors in Electronics, HFE-1:4–11.
• Lovejoy, W. S. (1991). A survey of algorithmic methods for partially observed Markov decision processes. Annals of Operations Research, 28(1):47–66.
• Mahmood, A. R., Sutton, R. S., Degris, T., Pilarski, P. M. (2012). Tuning-free step-size adaptation. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing, Proceedings, pp. 2121–2124. IEEE.
• McMahan, H. B., Gordon, G. J. (2005). Fast Exact Planning in Markov Decision Processes. In Proceedings of the International Conference on Automated Planning and Scheduling, pp. 151-160.
• Moore, A. W., Atkeson, C. G. (1993). Prioritized sweeping: Reinforcement learning with less data and less real time. Machine Learning, 13(1):103–130.
• Parisi, G. I., Kemker, R., Part, J. L., Kanan, C., Wermter, S. (2019). Continual lifelong learning with neural networks: A review. Neural Networks, 113:54–71.
• Peng, J., Williams, R. J. (1993). Efficient learning and planning within the Dyna framework. Adaptive Behavior, 1(4):437–454.
• Pilarski, P. M., Butcher, A., Davoodi, E., Johanson, M. B., Brenneis, D. J. A., Parker, A. S. R., Acker, L., Botvinick, M. M., Modayil, J., White, A. (2022). The Frost Hollow experiments: Pavlovian signalling as a path to coordination and communication between agents, arXiv:2203.09498 [cs.AI].
• Precup, D. (2000). Temporal Abstraction in Reinforcement Learning. PhD thesis, University of Massachusetts, Amherst.
• Rahman, P. (2020). Toward Generate-and-Test Algorithms for Continual Feature Discovery. University of Alberta MSc thesis.
• Samani, A. (2022). Learning Agent State Online with Recurrent Generate-and-Test. University of Alberta MSc thesis.
• Sutton, R. S. (1988). Learning to predict by the methods of temporal differences. Machine Learning, 3(1):9–44.
• Sutton, R. S. (1988b). NADALINE: An adaptive linear element that learns efficiently. GTE Laboratories Technical Report TR88-509.4.
• Sutton, R. S. (1992a). Adapting bias by gradient descent: An incremental version of delta-bar-delta. Proceedings of the Tenth National Conference on Artificial Intelligence, pp. 171–176, MIT Press.
• Sutton, R. S. (1992b). Gain adaptation beats least squares? Proceedings of the Seventh Yale Workshop on Adaptive and Learning Systems, pp. 161–166, Yale University, New Haven, CT.
• Sutton, R. (2016). The Future of Artificial Intelligence Belongs to Search and Learning, University of Toronto, https://youtu.be/fztxE3Ga8kU.
• Sutton, R. (2019). The bitter lesson. Incomplete Ideas (blog), http://www.incompleteideas.net/IncIdeas/BitterLesson.html.
• Sutton, R. S. (2022). The quest for a common model of the intelligent decision maker. In: Multidisciplinary Conference on Reinforcement Learning and Decision Making, arXiv:2202.13252.
• Sutton, R. S., Barto, A. G. (2018). Reinforcement Learning: An Introduction, second edition. MIT Press.
• Sutton, R. S., Machado, M. C., Holland, G. Z., Timbers, D. S. F., Tanner, B., White, A. (2022). Reward-respecting subtasks for model-based reinforcement learning, arXiv:2202.03466.
• Sutton, R. S., Modayil, J., Delp, M., Degris, T., Pilarski, P. M., White, A., Precup, D. (2011). Horde: A scalable real-time architecture for learning knowledge from unsupervised sensorimotor interaction. In Proc. of 10th International Conference on Autonomous Agents and Multiagent Systems (AAMAS), vol. 2-6, pp. 761–768.
• Sutton, R. S., Precup, D., Singh, S. (1999). Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning. Artificial Intelligence, 112:181–211.
• Sutton, R. S., Szepesvári, Cs., Geramifard, A., Bowling, M., (2008). Dyna-style planning with linear function approximation and prioritized sweeping. In Proceedings of the 24th Conference on Uncertainty in Artificial Intelligence, pp. 528–536.
• Thrun, S., Pratt, L. (1998). Learning to Learn. Springer, Boston, MA.
• Tieleman, T., Hinton, G. (2012). Lecture 6.5–RMSProp. COURSERA: Neural networks for machine learning 4.2:26–31.
• van Seijen, H., Sutton, R. S. (2013). Efficient planning in MDPs by small backups. In: Proceedings of the 30th International Conference on Machine Learning, pp. 361–369.

原文