1 .创建线程的两种方式中，应该优先选择使用实现了Runnable接口的方式，并重写内部的Run方法。2. 优点在于：可以实现多继承，可以共享实现了Runnable接口的类中的变量或者说是属性3. 当主线程结束的时候，其他线程不受影响，并不会随之结束。一旦子线程启动起来后，它就拥有和主线程相同的地位，它不会受主线程的影响4. 前台线程创建的子线程默认是前台线程，后台线程创建的线

Dropout: A simple Way to Prevent Neural Networks from Overfitting摘要过拟合是机器学习领域较为突出的问题之一，很多方法已提出用于缓解过拟合。该文提出的方法是Dropout(剔除、删除等翻译即可)。只需记住一句话即可：在神经网络训练过程中随机删除一些激活单元以及与这些激活单元相连的边，这避免了激活单元之间过...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明，原文链接：https://blog.csdn.net/ThomasCai001/article/details/120097650。

一、背景He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法，动机同Xaviar初始化基本一致，都是为了保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号方差大致相等。二、一些假设关于参数的大部分假设同Xaviar初始化一致，但是，He初始化对应的是非线性激活函数（Relu 和 Prelu），而Xaviar初始化对应的是线性激活函数。符号假设参考原论文。三、推导...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明，原文链接：https://blog.csdn.net/ThomasCai001/article/details/120097650。

scp在前台执行打印大量信息，阻碍正常的操作，放在后台执行会比较方便。本文的方法也适用于Linux系统下的其他传输命令。

一、背景He初始化是何凯明等提出的一种鲁棒的神经网络参数初始化方法，动机同Xaviar初始化基本一致，都是为了保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号方差大致相等。二、一些假设关于参数的大部分假设同Xaviar初始化一致，但是，He初始化对应的是非线性激活函数（Relu 和 Prelu），而Xaviar初始化对应的是线性激活函数。符号假设参考原论文。三、推导...

分布式计算技术中，我们经常会听到离线计算、批量计算、实时计算和流式计算这四个概念，也常常会弄混。那么，离线计算和批量计算，实时计算和流式计算到底是什么呢？离线计算和批量计算、实时计算和流式计算分别是等价的吗？ 通过下表，对其中的一些区别做了详细的总结。...

神经网络中选择的激活函数都是较为平滑的函数，如sigmod，tanh等，也有一些近似平滑的（仅在个别点处不可导，但是连续），如Relu。根据整理资料和一些个人的见解，整理几条原因以供大家参考。激活值不存在像感知机那样的阶跃现象，比较容易收敛很多平滑函数的引入，使得模型有了非线性因素，因此可以识别更加复杂的模式平滑函数是可导的，这便于梯度的计算与更新。而对像感知机这样的激活函数，...

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明，原文链接：https://blog.csdn.net/ThomasCai001/article/details/120097650。