在mysql中创建hive数据库，并允许hive接入mysql> create database hive;#这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应，用来保存hive元数据mysql> grant all on *.* to hive@localhost identified by 'hive';#将所...

1. The Problem of Overfitting1 还是来看预测房价的这个例子，我们先对该数据做线性回归，也就是左边第一张图。 如果这么做，我们可以获得拟合数据的这样一条直线，但是，实际上这并不是一个很好的模型。我们看看这些数据，很明显，随着房子面积增大，住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。 我们把此类情况称为欠拟...

线性回归：表达形式为y = w'x+e，e为误差服从均值为0的正态分布。线性回归可以分为单变量线性回归(Linear Regression with One Variable)以及多变量线性回归(Linear Regression with Multiple Variables)。在此主要了解单变量线性回归。以ng课程的房屋交易问题为例： 假设给定一批已知的房子大小和价格的对应...

今天偶然用到pandas的cut方法，相当好用，不过也有问题要解决，主要看一些容易困惑的地方。pandas.cut ：有什么用？当我们想要切分数据，或者对数据进行划分，也就是把一组数据分散成离散的间隔，那就要用到 cut 了。cut(x, bins, right=True, labels=None, retbins=False, precision=3, i...

聚类概念聚类分析是在对象数据中发现对象之间关系。一般来说，组内相似性越高，组间相似性越大，则聚类的效果越好。k-means概念k-means是一种无监督学习，它会将相似的对象归到同一类中。k-means聚类的优缺点优点：容易实现。缺点：可能会收敛到局部最小值， 当应用到大规模数据集时会收敛较慢。适用于：数值型数据。k-means聚类的算法思想1.随机计算k个类中...

启动spark shell报错：Setting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).19/02/26 16:56:07 WARN util.NativeCodeLoader: