最近在学习人工智能防治物联网设备的ddos攻击有关项目时接触到目前主流的IoT攻击模式，其中就包括Mirai僵尸网络。学习了《Understanding the Mirai Botnet》一文，原文链接如下https://xueshu.baidu.com/usercenter/paper/show?paperid=ef4bd68424819b095fa8837b5fe58049僵尸网络是互联网上的

Lecture 5: Model-Free Controlhttps://www.davidsilver.uk/wp-content/uploads/2020/03/control.pdfIntroduction同策略和异策略概念，同策略说的是用于采样sample的p和要学习更新的policy一致，即learn on the job。异策略知道是学习和采样用不同的策略。On-Policy Mont

Epoch在模型训练的过程中，运行模型对全部数据完成一次前向传播和反向传播的完整过程叫做一个epoch在梯度下降的模型训练的过程中，神经网络逐渐从不拟合状态到优化拟合状态，达到最优状态之后会进入过拟合状态。因此epoch并非越大越好，一般是指在50到200之间。数据越多样，相应epoch就越大。Batchsize当我们处理较大的数据集时，一次向网络喂入全部数据得不到很好的训练效果。通常我们将整个样

等级保护2.0等保2.0是经典网络安全理论的综合与延伸，是我国网络安全法律法规的要求等级保护核心标准原则 GB17859 计算机信息系统安全保护等级划分准则基线要求 GB/T 22239 信息系统安全保护等级基本要求网络安全等级保护基本要求实现方法 GB/T 25070 信息系统等级保护安全设计技术要求网络安全等级保护安全设计技术要求测评方法 GB/T 28448 信息系统安全等级保护测评要求网络

Lecture 2: Markov Decision Processeshttps://www.davidsilver.uk/wp-content/uploads/2020/03/MDP.pdf

Lecture 5: Model-Free Controlhttps://www.davidsilver.uk/wp-content/uploads/2020/03/control.pdfIntroduction同策略和异策略概念，同策略说的是用于采样sample的p和要学习更新的policy一致，即learn on the job。异策略知道是学习和采样用不同的策略。On-Policy Mont

强化学习RF简介强化学习是机器学习中的一种重要类型，一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。机器学习算法可以分为3种：有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning），如下图所示：有监督学习、无监督学习、强化学习具有不同的特点：有监督学习是有一个l

Epoch在模型训练的过程中，运行模型对全部数据完成一次前向传播和反向传播的完整过程叫做一个epoch在梯度下降的模型训练的过程中，神经网络逐渐从不拟合状态到优化拟合状态，达到最优状态之后会进入过拟合状态。因此epoch并非越大越好，一般是指在50到200之间。数据越多样，相应epoch就越大。Batchsize当我们处理较大的数据集时，一次向网络喂入全部数据得不到很好的训练效果。通常我们将整个样

强化学习RF简介强化学习是机器学习中的一种重要类型，一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。机器学习算法可以分为3种：有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning），如下图所示：有监督学习、无监督学习、强化学习具有不同的特点：有监督学习是有一个l

Lecture 6: Value Function Approximationhttps://www.davidsilver.uk/wp-content/uploads/2020/03/FA.pdfIntroduction不同种类的值函数估计 从左到右分别是状态值函数，动作值函数act-in和动作值函数act-outIncremental Methods 增量方法核心思想：利用梯度下降的方法找到一