小白入门记录网课笔记并整理,欢迎交流

神经元与大脑

左边那个神经元A,右边那个神经元B

比如这个图,A收到许多其他神经元的信号,然后输出给B。A的输出作为了B的一个输入,然后B还有许多其他输入,然后他自己再输出,一直这样

这里只是简单理解一下就可以,生物一直在被探索,虽然深度学习是由此被启发,但我们后面更多是从工程原理上去理解

现在生活中用到的数据变多,在传统的机器学习中(逻辑回归和线性回归)很难让性能持续提升,所以深度学习就被应用的越来越多。

神经网络层

因为神经网络层数很多,一般使用一个右上角的方括号,比如中的i表示第几层

每一层具体的计算

输入向量x,然后根据w,b,带入g(z)得到激活值。这里的g(z)就是逻辑回归函数。

神经网络按照传统方式计算层数“隐藏层+输出层”

关于下标或者上标的书写和意义

W1[2]指的是第2层的第一个w参数

举例1:需求预测

输入一些特征,然后判断这个T恤成为畅销品的概率

蓝色圈是层(layer),层是一组神经元,他们以相同的或相似的特征作为输入,并依次输出一些数字。

蓝色那一层的输出是激活值。a表示激活,实际上是一个来自神经科学的术语,它指的是一个神经元向下游其他神经元发送高输出的程度

黄色层(输入层)粉色层(输出层)除了输入层和输出层(隐藏层)

在构建大型神经网络时,判断哪些神经元应该以那些特征作为输入将是一项繁重的任务,所以在实践中,全部连上。

一种可以学习自己特征的逻辑回归,选择更有效的特征进行预测(另一种理解方式)

举例2:图像识别

按照像素点的数值写矩阵,再将2维转为1维

开始识别边缘,后面开始识别眼睛鼻子,再后面是整个脸。

神经网络能够从数据中自行找出这些特征

前向传播算法

向前,从左到右进行这些计算,所以叫前向传播算法

比如:数字识别0/1

单层前向传播

可以将上述过程简化为for循环

这里大写的W指的是矩阵,小写字母指代向量和标量

但是还有更为高效的方式:用向量计算代替for循环

更多推荐