默认安装好spark后，pyspark环境中Python为2，需要更新为3Spark集群安装和部署(一)-----Ubuntu16.0.4创建hadoop用户Spark集群安装和部署(二)-----Ubuntu16.0.4安装jdk8Spark集群安装和部署(三)-----ubuntu16.0.4安装hadoopSpark集群安装和部署(四)-----ubuntu16.0.4安装...

"^\d+$"　　//非负整数（正整数 + 0）"^[0-9]*[1-9][0-9]*$"　　//正整数"^((-\d+)|(0+))$"　　//非正整数（负整数 + 0）"^-[0-9]*[1-9][0-9]*$"　　//负整数"^-?\d+$"　　　　//整数"^\d+(\.\d+)?

SAP 快捷键F1  帮助F2  回车确认（在某些地方可用，比如ABAP）F3  返回F4  选择输入项F5  新增F6  复制为F7  全选F8  选择块，首F8，尾F8F9  选择一条CTRL+S  保存shift+home shift+end  所在文本框中的文本全部选择。ctrl+y    选择单元格。F12  取消Shift+F1 打印Shift+F2 删除Shift+F3 退出Shif

1、定义及与其他机器学习任务的区别1.1 单任务学习与多任务学习既然要介绍多任务学习，那么就必须要提到与之对应的单任务学习。我们平时接触最多的那些机器学习算法基本都是单任务学习，即专注于一个学习目标。如上图所示，有4个独立的神经网络，每个网络针对同样的输入只有一个输出函数（优化目标），这四个网络之间没有任何连接，所以每个网络之间的表示层是独立的，彼此训练的隐层对其他网络的训练没有任...

Kappa系数首先，我们介绍一下kappa系数：kappa系数是用在统计学中评估一致性的一种方法，我们可以用他来进行多分类模型准确度的评估，这个系数的取值范围是[-1,1]，实际应用中，一般是[0,1]，与ROC曲线中一般不会出现下凸形曲线的原理类似。这个系数的值越高，则代表模型实现的分类准确度越高。kappa系数的计算方法可以这样来表示：k=(po−pe)/(1−pe)...

我第一次听说 Shapley 值是在学习模型可解释性的时候。我知道了 SHAP，它是一个框架，可以更好地理解为什么机器学习模型会那样运行。事实证明，Shapley 值已经存在了一段时间，它们最早起源于 1953 年的博弈论领域，目的是解决以下情况：一群拥有不同技能的参与者为了集体奖励而相互合作。那么，如何在小组中公平分配奖励?当一个「旧」概念被应用到另一个领域，如机器学习，关于它是如何获得新的应用

摘要一元线性回归可以说是数据分析中非常简单的一个知识点，有一点点统计、分析、建模经验的人都知道这个分析的含义，也会用各种工具来做这个分析。这里面想把这个分析背后的细节讲讲清楚，也就是后面的数学原理。什么是一元线性回归回归分析（Regression Analysis)是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在回归分析中，只包括一个自变量和一个因变量，且二者的关系可...

1. 写在前面　　在机器学习(Machine learning)领域，监督学习(Supervised learning)、非监督学习(Unsupervised learning)以及半监督学习(Semi-supervised learning)是三类研究比较多，应用比较广的学习技术，wiki上对这三种学习的简单描述如下：监督学习：通过已有的一部分输入数据与输出数据之间的对应关系，生成一个函...

由于模型是以特定时期的样本所开发的，此模型是否适用于开发样本之外的族群，必须经过稳定性测试才能得知。稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有

创建集合setpython set类是在python的sets模块中，大家现在使用的python2.3中，不需要导入sets模块可以直接创建集合。>>>set('boy')set(['y', 'b', 'o'])集合添加、删除集合的添加有两种常用方法，分别是add和update。集合add方法：是把要传入的元素做为一个整个添加到集合中，例如：&gt