1 逻辑回归为什么可以初始化为0 ？1.1 参数说明输入: x1,x2x_1, x_2x1​,x2​输出: aaa权重: w1,w2w_1, w_2w1​,w2​偏置: bbb激活函数: sigmoidsigmoidsigmoid损失函数: crossentropycross entropycrossentropy逻辑回归用公式表达为: a=sigmoid(w1x1+w2x2+b)a = sigm

神经网络中，如果使用线性函数，每一层输出都是上层输入的线性函数，无论神经网络多深，输出都是输入的线性组合。加深神经网络的层数就没有什么意义了。线性函数的问题在于不管加深层数到多少，总是存在与之等效的无隐藏层的神经网络。为了稍微直观的理解这一点，考虑下面一个简单的例子。存在一个线性函数f(x)=a∗x(a≠0)f(x)=a*x(a≠0)f(x)=a∗x(a​=0)作为激活函数，假设有三层线性网络y

传统的文本处理任务一般将tfidf向量作为特征输入，这样做存在一个问题就是忽略了文本序列中每个单词的顺序。同时在神经网络例如BP建模过程中通常接受的是一个固定的向量，当输入变长的文本需要先通过滑动窗口的形式转换成一个固定向量，虽然这样可以捕捉一些局部信息，但是两个长距离单词之间的依赖关系难以捕捉到。因此，未解决上述问题，循环神经网络（RNN）诞生，RNN可以很好的解决变长的文本数据和有序的输入序列

神经网络训练的过程就是对网络权重不断学习更新的过程，网络初始权重对网络的训练非常重要。不合适的初始化方法可能会导致网络参数传播过程中产生梯度消失、梯度爆炸等现象。常用的初始化方法有随机初始化、Xavier初始化、he初始化等1 零初始化对于逻辑回归，网络权重是可以初始化为0的；对于深度神经网络，网络权重和偏置是不可以一起初始化为0的，不然会造成每层的网络所有节点输出是一致的，具体分析可以参考神经网

1 原理《Dropout: A Simple Way to Prevent Neural Networks from Overfitting》在神经网络的训练过程中，对于一次迭代中的某一层神经网络，先随机选中一些神经元并将其临时隐藏(丢弃)，然后再进行本次训练和优化。在下一次迭代中，继续随机隐藏一些神经元，如此直至训练结束。由于是随机丢弃，故而每一个mini-batch都在训练不同的网络。在训练时

1 训练的时候 loss 不下降模型结构问题。当模型结构不好、规模小时，模型对数据的拟合能力不足。训练时间问题。不同的模型有不同的计算量，当需要的计算量很大时，耗时也会很大权重初始化问题。常用的初始化方案有全零初始化、正态分布初始化和均匀分布初始化等，合适的初始化方案很重要，之前提到过神经网络初始化为0可能会带来的影响正则化问题。L1、L2以及Dropout是为了防止过拟合的，当训练集loss下不

1 训练的时候 loss 不下降模型结构问题。当模型结构不好、规模小时，模型对数据的拟合能力不足。训练时间问题。不同的模型有不同的计算量，当需要的计算量很大时，耗时也会很大权重初始化问题。常用的初始化方案有全零初始化、正态分布初始化和均匀分布初始化等，合适的初始化方案很重要，之前提到过神经网络初始化为0可能会带来的影响正则化问题。L1、L2以及Dropout是为了防止过拟合的，当训练集loss下不

1 什么是偏差方差在机器学习中，我们用训练数据集去训练一个模型，通常的做法是定义一个误差函数，通过将这个误差的最小化过程，来提高模型的性能。然而我们学习一个模型的目的是为了解决训练数据集这个领域中的一般化问题，单纯地将训练数据集的损失最小化，并不能保证在解决更一般的问题时模型仍然是最优，甚至不能保证模型是可用的。这个训练数据集的损失与一般化的数据集的损失之间的差异就叫做 泛化误差（generali

简单来说，Embedding就是用一个低维的向量表示一个物体，可以是一个词，或是一个商品，或是一个电影等等。在传统机器学习模型构建过程中，经常使用one hot encoding对离散特征，特别是ID类特征进行编码，但由于one hot encoding的维度等于特征的总数，比如阿里的商品one hot encoding的维度就至少是千万量级的，而且有的特征还会增量更新，所以这样的编码方式得到的特

核心思想隐语义模型LFM和LSI，LDA，Topic Model其实都属于隐含语义分析技术，是一类概念，他们在本质上是相通的，都是找出潜在的主题或分类。这些技术一开始都是在文本挖掘领域中提出来的，近些年它们也被不断应用到其他领域中，并得到了不错的应用效果。比如，在推荐系统中它能够基于用户的行为对item进行自动聚类，也就是把item划分到不同类别/主题，这些主题/类别可以理解为用户的兴趣。对于..