解决了困扰企业数字化转型的根本问题：如何让散落在各个系统中的数据真正"说同一种语言"？如何让AI不仅能处理数据，还能理解数据的含义？如何让人类的决策经验变成系统可以学习的知识？

解决了困扰企业数字化转型的根本问题：如何让散落在各个系统中的数据真正"说同一种语言"？如何让AI不仅能处理数据，还能理解数据的含义？如何让人类的决策经验变成系统可以学习的知识？

整个确定性策略梯度方法沿用了行动者-评论家学习框架，评论家（Critie）使用可微近似函数估计行为值函数，行动者（Actor）朝着行为值函数梯度方向更新策略参数。在引入AC框架之前，大多数无模型强化学习算法都是基于广义策略迭代框架，将策略评估与策略改进相结合求解最优值。

用于计算一组数值的加权平均，其中最近的数据点被赋予更高的权重。结合了 AdaGrad 算法和 RMSprop 算法的优点，通过计算梯度的一阶矩估计（均值）和二阶矩估计（未中心化的方差）来调整每个参数的学习率，从而实现自适应学习率。这种方式使得算法对最近的梯度给予更多的权重，而对旧的梯度逐渐“遗忘”，从而避免了学习率过快减小的问题。解决AdaGrad算法中学习率单调递减的问题，通过限制累积梯度的窗口

1w字吐血整理，ChatGPT（ELMo模型，word2vec，Transformer，编码器，解码器，Multitask Leanring，Cookie Monster）。包括：基础知识，底层原理，数学推导，刁钻问题解答。

题目：A Survey of Multi-Agent Reinforcement Learning with Communication出处：arXiv 2022摘要：通信是协调多个智能体行为的有效机制。在多智能体强化学习领域，智能体可以通过通信来提高整体学习性能并实现其目标。此外，智能体可以通过特定渠道向所有智能体或特定智能体组传递各种类型的消息。随着越来越多的通讯研究工作（Comm MARL）

2w字吐血整理，GPT入门材料（NLP，LM，词嵌入，Word2vec，N-gram，基于RNN的语言模型，seq2seq，Decoder结构，Attention，自监督学习，预训练）。包括：基础知识，底层原理，数学公式表示，刁钻问题解答。

题目：Novelty Search in Representational Space for Sample Efficient Exploration出处：Neural Information Processing Systems (NeurIPS，2020)，人工智能领域顶级会议。摘要：我们提出了一种新的有效探索方法，该方法利用所学环境的低维编码，并结合基于模型和无模型的目标。我们的方法使用基

根据策略是随机策略还是确定性策略，分为策略梯度方法（SPG，用PG表示）和确定性策略梯度方法（DPG）。因为，随机策略梯度方法（SPG）存在学习率难以确定的问题，就有了置信域策略优化（TRPO），它能够确定一个使得回报函数单调不减的最优步长。确定性策略梯度方法（DPG）使用的是线性函数逼近行为值函数和确定性策略，如果将线性函数扩展到非线性函数——深度神经网络，就有了深度确定性策略梯度方法（DDPG

支持向量机（SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面，可以将问题化为一个求解凸二次规划的问题。与逻辑回归和神经网络相比，支持向量机，在学习复杂的非线性方程时提供了一种更为清晰，更加强大的方式。