确定性跳跃循环状态网络(CRJ)教程本篇文章是上一篇文章回声状态网络(ESN)的延申，在阅读本文之前，希望您已经阅读了上一篇博文。确定性跳跃循环状态网络(CRJ)是ESN的一个变种，如下图所示：在CRJ中，中间节点通过单向的循环边和双向的跳跃边连接，所有的输入权重、循环权重、跳跃权重分别共享值ririr_i，rcrcr_c，rjrjr_j。特别地，输入权重的符号由某个无理数的小数展...

ICML2019: Transferability vs. Discriminability: Batch Spectral Penalization for Adversarial Domain Adaptation引言对抗学习在domain adaptation中常用于adapt源域和目标域特征的分布差异性。 但是在使用对抗学习时，是否会影响到分类效果呢，即我们学到的特征是否依然能保证可区..

Softmax函数及其导数本文翻译自The Softmax function and its derivative基础概念Softmax函数的输入是N维的随机真值向量，输出是另一个N维的真值向量，且值的范围是(0,1)(0,1)，和为1.0。即映射：S(a)=RN→RNS(\textbf{a})=\mathbb{R}^N\rightarrow \mathbb{R}^N：S(a):⎡⎣⎢⎢⎢a

Sparsity constraint稀疏约束详解引子： 线性模型是我们经常使用的一种模型，比如：文本分类中，bag-of-words 有p = 20 K 个特征， 共有 N = 5K 个文本样例；在图像去模糊化，图像分类中，有p=65K 个像素点特征，N=100个样例；等等这些问题我们都可以使用线性模型解决，比如线性回归，logistic回归， Cox 回归来

回声状态网络(ESN)教程基础概念回声状态网络(Echo State Network)提出于2001年，曾经是研究的热点，但近年来随着RNN，LSTM与其它一些变种的网络的出现，现在研究比较少了，但是其在时间序列预测上还有着很不错的应用。传统的MLP网络的隐层是一层层的全连接的神经元，而ESN引入了一个储备池计算模式来替代原始的隐层，这个储备池是什么呢？先来看下下图：网络结构依...

wxpython 设置背景图片我们在wxPyhton中想要设置背景图片，或许你可能想直接在画布上绘制一张图片来实现其功能（wx.StaticBitmap），但是StaticBitmap widget 并不是一个容器，你的其他空间就会被覆盖掉。现在我们可以利用 wx.EVT_ERASE_BACKGROUND巧妙地实现其功能，而且此方法不会覆盖你的其他的控件 见代码：impor

tensorflow 获取变量&打印权值等方法在使用tensorflow中，我们常常需要获取某个变量的值，比如：打印某一层的权重，通常我们可以直接利用变量的name属性来获取，但是当我们利用一些第三方的库来构造神经网络的layer时，存在一种情况：就是我们自己无法定义该层的变量，因为是自动进行定义的。比如用tensorflow的slim库时

通用人工智能：我们还有多远？通用人工智能的提出已经成为近年研究的一个热点。微软全球执行副总裁、人工智能研发的总掌舵人沈向洋说：“单独做一个东西之后，今天有非常强的AI系统，比如Alphago在围棋上战胜柯洁。这些都非常了不起，开发系统的时候做出些非常了不起的技术，但今天没有人去想通用人工智能到底是什么，到底要多少的输入。”我们一直梦想着有一个通用的模型，可以建模整个世界，使各种各样的问题都...