一、策略梯度算法推导以及解释1.1 背景设πθ(s)\pi_{\theta }(s)πθ​(s)是一个有网络参数θ\thetaθ的actor，然后我们让这个actor和环境（environment）互动或者说去玩一场游戏，在这个游戏中actor会观测环境处于的某种状态s,然后根据这个环境的状态做出一定的动作a（action）来应对环境的变化，从而得到一定的奖励r（reward）下面是一个使用神经网

1、参照图3.1，在二维空间中给出实例点，画出 kkk 为1和2时的 kkk 近邻法构成的空间划分，并对其进行比较，体会 kkk 值的选择与模型复杂度及预测准确率的关系。解：唉，这一题花了很长时间才搞明白到底是要干啥。下面先简单的介绍一下，到底要干嘛，和k近邻的关系是啥。我们知道，k近邻算法在对一个新的数据点 AAA 进行分类的时候（这里就以分类来介绍），需要以AAA为中心，寻找距离AAA最近的k

1、说明伯努利模型的极大似然估计和以及贝叶斯估计中的统计学习方法三要素。伯努利模型是定义在取值为0与1的随机变量上的概率分布。假设观测到伯努利模型n次独立的数据生成结果，其中k次的结果为1，这时可以用极大似然估计或贝叶斯估计来估计结果为1的概率。解：模型三要素是：模型策略算法极大似然估计概率模型经验风险最小化数值解贝叶斯估计概率模型结构风险最小化解析解设x1,x2,...,xnx_{1}, x_{

一、他说的是对的前几天看到一篇关于大连理工大学的研三学长的去世新闻，仔细看了他的遗书，很是泪目。他说同样的条件，做出的实验结果是不同的。在训练我这个模型的时候，深深体会到了这个感受，有时候收敛，有时候无论怎么也不收敛。可能这个还容易解释一点，模型的很多参数是初始化的，不同的参数会跑到局部最you，模型陷在了一个局部最优点，出不去。可能我这个模型的结构和参数都有问题，在训练过程中，损失最低也就是0.

运行过程就是下面这样：下面是代码：# -*- coding: utf-8 -*-"""Created on Fri Mar5 08:48:06 2021@author: DELL"""import cv2 as cvimport numpy as npimport pandas as pdimport random as rdnums_states = 8nums_action = 4gammma

1、Minsky与Papert指出：感知机因为是线性模型，所以不能表达复杂的函数，比如异或（XOR）。验证感知机为什么不能表示异或。解：下面是异或的运算结果：异或： 如果两个值相同则异或操作的结果是0，如果不相同则为1由此我们可以看到，这也是一个二分类的问题，异或的运算如表所示XORaba01b10如果我们去a = 0, b = 1,将上表的结果画在二维平面，如下图。我们可以看到，对于蓝色的圆点和

11.1、写出图11.3中无向图描述的概率图模型的因子分解式。解：根据最大团的定义可知，该最大团共有两个最大团，李航老师的书上也指了出来。分别是：c1=(Y1,Y2,Y3),c2=(Y2,Y3,Y4) c_{1}=(Y_{1},Y_{2},Y_{3}), c_{2}=(Y_{2},Y_{3},Y_{4})c1​=(Y1​,Y2​,Y3​),c2​=(Y2​,Y3​,Y4​)那么根据Hammersl

1、确认逻辑斯谛分布属于指数分布族。证明：逻辑斯谛分布的概率密度函数是：f(x)=e−(x−μ)/γγ(1+e−(x−μ)/γ)2(1)f(x) = \frac{e^{-(x-\mu )/\gamma } }{\gamma (1+e^{-(x-\mu )/\gamma})^{2} } \tag{1}f(x)=γ(1+e−(x−μ)/γ)2e−(x−μ)/γ​(1)而指数族分布是指概率密度函数可以表

1、证明生成模型和共享模型是等价的。证明：1.1生成模型首先，生成模型基于假设：假设在话题zzz给定条件下，单词www和文本ddd条件独立，即：P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)(1)P(w,z|d) = P(z|d)P(w|z,d) = P(z|d)P(w|z)\tag{1}P(w,z∣d)=P(z∣d)P(w∣z,d)=P(z∣d)P(w∣z)(1)公式（

1、试将图17.1的例子进行潜在语义分析，并对结果进行观察。解：使用奇异值分解算法进行分析，该矩阵的阶数比较低，使用梯度下降算法感觉会麻烦一点，还可能无法达到最优解。程序是：import numpy as npdef solution(A):U,S,V_T = np.linalg.svd(A)return U, S, V_Tif __name__ == '__main__':A = np.arra