Pytorch基础与简单神经网络构建01-Pytorch基础TensorCuda Tensor(Cpu/Gpu转换)Tensor运算index操作内存问题02-自定义model实现神经网络01-Pytorch基础TensorTensor对象的3个属性：rank：number of dimensionsshape: number of rows and columnstype: data type

BP神经网络公式推导神经元简介公式推导神经元简介为了构建神经网络模型，我们需要首先思考大脑中的神经网络是怎样的？每一个神经元都可以被认为是一个处理单元/神经核（processing unit/Nucleus），它含有许多输入/树突（input/Dendrite），并且有一个输出/轴突（output/Axon）。神经网络是大量神经元相互链接并通过电脉冲来交流的一个网络。神经元之间通过电信号进行沟通(

正则化方法总结概念正则化方法L2-NormL1-NormDropout思考概念过拟合与正则化在机器学习里，使用少量样本去拟合了所有没见过的样本, 我们叫这种现象为“过拟合”。另外，我们训练模型的数据不可避免的存在一些测量误差或者其他噪音，比如下图中10个点，我们可以找到唯一个多项式来拟合所有点；也可以使用线性模型 y = 2x 拟合。简单来说，正则化是一种为了减小测试误差的行为(有时候会增加训练误

Tensorflow（1）Tensorflow的安装与配置（2）核心高阶API _ tf.keras1.机器学习原理-线性回归（1）Tensorflow的安装与配置点击前往Tensorflow的安装与配置（2）核心高阶API _ tf.keras1.机器学习原理-线性回归...

ReadTimeout的解决办法在安装第三方库的时候，Python报错pip._vendor.urllib3.exceptions.ReadTimeoutError一般是网络延迟 超时导致的。解决方法如下：输入指令改为：pip --default-timeout=100 install 库名称 -i http://pypi.douban.com/simple/ --trusted-host pyp

特征选择（卡方检验与互信息）特征选择的主要目的有两点：减少特征数量提高训练速度，这点对于一些复杂模型来说尤其重要减少noisefeature以提高模型在测试集上的准确性。一些噪音特征会导致模型出现错误的泛化（generalization），从而在测试集中表现较差。另外从模型复杂度的角度来看，特征越多模型的复杂度越高，也就越容易发生overfitting。互信息（Mutual information

NLP技术发展史2001 - Neural language models（神经语言模型）2008 - Multi-task learning（多任务学习）2013 - Word embeddings（ 词嵌入）2013 - Neural networks for NLP2014 - Sequence-to-sequence models2015 - Attention2015 - Memory-

聚类分析算法综述1. 聚类相关概念定义方法距离计算相似度计算应用2. 常用传统算法层次方法划分方法K-均值（K-Means）K-中心（K-Medoids）基于密度的方法DBscanMeanShift基于网格的方法基于模型的方法基于约束的方法3. 新发展的算法基于模糊的算法基于粒度的算法量子聚类核聚类谱聚类1. 聚类相关概念定义Clustering (聚类)，简单地说就是把相似的东西分到一组，聚类的

模型优化方法总结1. 梯度下降法SGD2. 动量法Momentum3. RMSpropAdamAdamWLookahead，RAdam?LazyAdam参考资料模型优化方法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计的问题，很可能是优化算法的问题，而且好的优化算法还能够帮助加速训练模型。深度学习模型的发展进程：SGD -> SGDM ->NAG -&gt

常用编码方式总结1. Ordinal Encoding 序列编码2. One-hot Encoding 独热编码3.Target Encoding 目标编码4. Hashing Encoding 哈希编码5. Catboost Encoder Catboost 编码参考：http://contrib.scikit-learn.org/category_encoders参考：https://gith