记录ubuntu下常用软件的安装，避免每次安装查询，包括一些常用的配置。

CPU主要用于串行运算；而GPU则是大规模并行运算。由于深度学习中样本量巨大，参数量也很大，所以GPU的作用就是加速网络运算。CPU算神经网络也是可以的，算出来的神经网络放到实际应用中效果也很好，只不过速度会很慢罢了。而目前GPU运算主要集中在矩阵乘法和卷积上，其他的逻辑运算速度并没有CPU快。

深度学习模型参数量与FLOPs计算工具介绍

1. 函数的定义与调用2. 函数的参数2.1 默认参数（1）默认参数的定义（2）默认参数只能在尾部（3）列表和字典的默认参数（4）使用默认参数判断是否有值传入2.2 关键字参数(位置参数)（1）关键字参数的使用（2）强制关键字参数2.3 不定长参数（1）元组类型的不定长参数（2）字典类型的不定长参数3. 函数参数的传递4. 函数的返回值4.1 不带参数的返回值4.2 接收多个返回值

1. getattr、hasattr、setattr和delattr（1） getattr（2） hasattr（3） setattr（4） delattr2. isinstance3. eval4. enumerate5. zip6. vars7. format和f8. slice

深度学习模型参数量与FLOPs计算工具介绍

1. 正则表达式的模式——pattern2. 正则表达式常量——修饰符（1）常量理解（2）re.IGNORECASE（3）re.ASCII（4）re.DOTALL3. 正则表达式函数（1）查找一个匹配项——match、search和fullmatch（2）查找多个匹配项——findall、finditer（3）分割——split（4）替换——sub、subn（5）编译正则项——template、c

显卡内部，有三级结构：网格（grid）、块（block）、线程（thread）。每个显卡只有很少的网格，一个核函数只能运行在一个网格中，而一个网格里有多个块，每个块包含了若干线程。kernel在device上执行时实际上是启动很多线程，一个kernel所启动的所有线程称为一个网格（grid），同一个网格上的线程共享相同的全局内存空间，grid是线程结构的第一层次，而网格又可以分为很多线程块（blo

深度学习模型参数量与FLOPs计算工具介绍

也看了不少softmax和交叉熵的文章了，不少文章对它们的来龙去脉做了比较清晰地梳理，有些文章讲得过于复杂，从信息量、相对熵(KL散度)讲到交叉熵，对于想要实际应用的同学来说，其实没有必要掌握它的来龙去脉，于是在此，对softmax和交叉熵的概念和公式进行简要说明，辅助以实际例子对它们具体说明。