L1和L2正则常被用来解决过拟合问题。而L1正则也常被用来进行特征选择，主要原因在于L1正则化会使得较多的参数为0，从而产生稀疏解，将0对应的特征遗弃，进而用来选择特征。  但为什么L1正则会产生稀疏解呢？这里利用公式进行解释。假设只有一个参数为www，损失函数为L(w)L(w)L(w)，分别加上L1正则项和L2正则项后有：JL1(w)=L(w)+λ|w|JL1(w)=L(w)+λ...

  多项式拟合（polynominal curve fitting）是一种线性模型，模型和拟合参数的关系是线性的。多项式拟合的输入是一维的，即x=xx=x\textbf{x} = x，这是多项式拟合和线性回归问题的主要区别之一。  多项式拟合的目标是构造输入xxx的MMM阶多项式函数，使得该多项式能够近似表示输入xxx和输出yyy的关系，虽然实际上xxx和yyy的关系并不一定是多项式，但使用足..

  在跑比较时间比较长的程序，或者是打印信息比较多的程序时，一般都会后台运行程序，然后把打印信息保存在文件中，等程序运行结束后再检查输出日志。完成该功能可以用如下命令：nuhup python -u test.py > test.log 2>&1 &其中，1. 最后一个“&”表示后台运行程序2. “nohup” 表示程序不

1、确保python相关依赖包都安装好了sudo apt-get install python-pip python-dev 2、下载tensorflow的安装包（如果网络状况好，也可以直接安装）sudo pip install ***3、验证是否安装成功进入python环境，然后import tensorflow4、卸载tensorflowsudo pip uninstall tensorflo

在用tf处理数据时，一般都会保存为tfrecord格式的数据，有时候会想查看该tfrecord格式的数据样本多少个。那么如何做呢？参考如下代码：-Python 代码查看代码1import tensorflow as tf2 3tf_records_filenames = 'xxx.tfrecords'4c = 05for record in tf.python_io.tf_record_itera

现实中碰到一个问题，训练好分类模型，比如训练保存了一个10分类的模型，但是实际用的时候呢，可能是做20分类，但是还想继续使用前面保存的模型。那么相当于是只加载前几层的参数，最后一层做一些修改。一般实验情况下保存的时候，都是用的saver类，保存-Python 代码1saver = tf.train.Saver()2saver.save(sess,"model.ckpt")加载-

其实fine tune就是这样子的，如何把某些层冻结，然后训练最后一层。那么在tensorflow里如何实现呢？优化的时候，只选择优化特定层的参数即可。如下：-Python 代码1#定义优化算子2optimizer = tf.train.AdamOptimizer(1e-3)3#选择待优化的参数4output_vars = tf.get_collection(tf.GraphKyes.TRAINA

在用tensorflow构建神经网络的时候，有很多随机的因素，比如参数的随机初始化: 正态分布随机变量tf.random_normal([m,n])，均匀分布的随机变量tf.random_uniform([m,n])，还有在从tfrecord读取数据时，也会随机打乱数据。那么由于这些随机的操作，即使是在输入数据完全一样的情况下，每次训练的结果也不一样，那么如果想要使得每次训练的结果一致，应该怎..

在linux系统上需要安装各种各样的依赖软件包，如果机器可以联网，那么还是比较方便的，但是如果不能联网，只能手工下载安装各种软件包，也是挺醉的，安装某个软件包A，A可能依赖于其它B1~B3个软件包，而每个Bx又可能依赖于其它Cx~Cx个软件包，简直没完没了。那么如果采取最笨的方法逐个下载，逐个安装，也是需要了解在CentOS系统下如何安装rpm包吧。首先下载对应的rpm软件包，可以在cen...

一般情况下，运行tensorflow时，默认会占用可以看见的所有GPU，那么就会导致其它用户或程序无GPU可用，那么就需要限制程序对GPU的占用。并且，一般我们的程序也用不了所有的GPU资源，只是强行霸占着，大部分资源都不会用到，也不会提升运行速度。使用nvidia-smi可以查看本机的GPU使用情况，如下图，这里可以看出，本机的GPU型号是K80，共有两个K80，四块可用（一个K80包括两块K4