探索性数据分析介绍当有人扔给你一份数据时，你对这份数据完全陌生，又没有足够的业务背景，会不会感觉无从下手。如果你什么都不管，直接把数据喂给各种模型，却发现效果不好，因为你没有好的特征，那么你可能需要的是数据探索。首先什么是探索性数据分析(Exploratory Data Analysis,EDA)？实际上，这是一系列的方法，它的目的就是让你最大化对数据的直觉，为了让你对数据有感觉，你不仅需要

介绍本文主要介绍Trust Region Policy Optimization这篇文章，这篇文章主要回答了如下2个问题：两个不同策略的value function，他们的差异是多少？有什么办法可以保证，一个策略相比于另外一个策略一定能够提升呢？针对这两个问题，我们先定义一些基本的概念，基本定义下图是一个较为一般的强化学习MDP框架下的概率图模型注意，这个图并不一定通用，特别是reward（比如s

Markov inequality若Y是非负随机变量，对于所有y>0\displaystyle y >0y>0,都有Pr{Y≥y}≤E⁡[Y]y\mathrm{Pr}\{Y\geq y\} \leq \frac{\operatorname{E}[ Y]}{y}Pr{Y≥y}≤yE[Y]​如上图，yPr{Y≥y}\displaystyle y\mathrm{Pr}\{Y\geq y

置换矩阵也能优化本文是对论文 Learning Latent Permutations with Gumbel-Sinkhorn Networks的阅读笔记。很多时候我们都希望学习一个置换矩阵(permutation matrix)，用来找到一个合适的排序，或者解决一个指派问题，就是找到一个最优的分配策略，他可以用匈牙利算法在多项式时间内解决，然后这个问题是不可微的，也就不能放在神经网络中...

文章目录从谱聚类说起RatioCut 切图聚类谱分析GCN从傅里叶级数到傅里叶变换傅里叶级数的直观意义傅里叶变换推导Signal Processing on Graph图上的傅里叶变换参考资料从谱聚类说起谱聚类是一种针对图结构的聚类方法，它跟其他聚类算法的区别在于，他将每个点都看作是一个图结构上的点，所以，判断两个点是否属于同一类的依据就是，两个点在图结构上是否属否有边相连，他不一定是直接相连..

文章目录A theory of learning from different domainsH-divergenceAnalysis of Representations for Domain Adaptation参考资料本文是对两篇文章：A theory of learning from different domainsAnalysis of Representations for ...

看到3b1b用信息论玩Wordle，这里写一个玩猜数字的简化版本.用信息论玩猜数字信息论中衡量一个事件的信息是否丰富是从概率出发，在信息论中，1bit的信息量对应着−log⁡212\displaystyle -\log_{2}\frac{1}{2}−log2​21​，意味着，这个事情发生的概率是12\displaystyle \frac{1}{2}21​，且发生之后将能够帮助我们筛选掉一半的搜索空

直观理解Neural Tangent Kernel本文是文章Some Intuition on the Neural Tangent Kernel的翻译整理.一句话总结：NTK衡量的是，在使用SGD优化参数下，其对应的随机到样本x′\displaystyle x'x′，在参数更新非常一小步η\displaystyle \etaη后，f(x)\displaystyle f( x)f(x)的变化。也就

介绍如何理解特征值和特征向量此部分参考了马同学的文章：如何理解矩阵特征值和特征向量？我们知道一个矩阵可以看做是线性变换又或者是某种运动，可以将一个向量进行旋转，平移等等操作，正常来说，对于一个向量vvv，并对其乘上一个A会出现下图的情况：可以看到乘了A之后v发生了一些旋转。然而所有向量中存在一种稳定的向量，他不会发生旋转，平移，只会使得向量变长或变短，而这种稳定的向量正是矩阵的特征向...

随机傅里叶特征(Random Fourier Features)如果使用核方法来预测测试集的样本x\displaystyle xx，比如核岭回归kernel ridge regression，我们需要计算：f(x)=∑i=1Ncik(xi,x)f( x) =\sum ^{N}_{i=1} c_{i} k( x_{i} ,x)f(x)=i=1∑N​ci​k(xi​,x)需要O(Nd)\display