data = pd.read_excel(filename)x = data.iloc[:,:8].as_matrix()y = data.iloc[:,8].as_matrix()from sklearn.linear_model import LogisticRegression as LRfrom sklearn.linear_model import RandomizedLog...

pyflink

pyflink 窗口函数

写在前言当你决定调用sklearn中提供的模型去做回归或分类等操作的时候，在不考虑数据优劣的情况下，你就只能依赖sklearn中提供模型和对应模型参数来进行拟合和参数优化来达到最后的最优结果，这个时候大部分人就会处在我到底选择哪个模型，选择了模型之后我模型参数我该怎么选什么的纠结之中，因为一个模型的选择和参数的选择就决定了你的结果的上限是什么。比如，你现在要做一个二分类预测，手里有10w左右的数据

data = pd.read_excel(filename)x = data.iloc[:,:8].as_matrix()y = data.iloc[:,8].as_matrix()from sklearn.linear_model import LogisticRegression as LRfrom sklearn.linear_model import RandomizedLog...

linux搭建pyspark环境，本地pycharm使用远程连接

#使用假设检验法import statsmodels.api as smY = df1["总价"].valuesX = df1[["建筑面积","室","厅","卫","中装修","毛坯","精装修","豪华装修","东","东北","东南","南","西","西北","西南","低层","高层"]]X_ = sm.add_constant(X)#使用最小平方法result = sm...

pyflink-mysql

写在前言当你决定调用sklearn中提供的模型去做回归或分类等操作的时候，在不考虑数据优劣的情况下，你就只能依赖sklearn中提供模型和对应模型参数来进行拟合和参数优化来达到最后的最优结果，这个时候大部分人就会处在我到底选择哪个模型，选择了模型之后我模型参数我该怎么选什么的纠结之中，因为一个模型的选择和参数的选择就决定了你的结果的上限是什么。比如，你现在要做一个二分类预测，手里有10w左右的数据

#值的归一化处理 1) 数据为什么做归一化处理    解析： 假设一个神经元有两个输入分别是x1和x2，权重分别是w1和w2，那么该神经元的信号加权求和为x1w1+x2w2。再假设x1属于[0~1]，x2属于[100~1000]，那么x2远远大于x1，那么x1w1就可以忽略不计，整个加权求和就只由x2w2来决定，小的信号就被淹没了！  所以需要将x1和x2都要做数据归一化处理避免造...