直接对字段进行split(';')操作会报错，其原因是因为：分号默认是sql的结束字符，因此需要用分号的二进制\073来表示。如果此时对字段进行此操作是没有问题的，比如：-- column1里的字符串是以分号分割的select split(column1,'\073') from xxx但是如果是以字符串进行尝试还是会报错，比如：select split('aa;bb;cc'...

本来50万条数据，使用pd.tosql方法，设置chunksize=2000，跑了5个小时。而上面这个方法，插40万条数据，只需1分钟。

假设df是一个dataframe，列名为A B C D具体如下：ABCD0ss小红81aa小明d4ff6ak小紫7dataframe里的属性不是指定的，空值默认为NA。一、选取标签为A和C的列，并且选完的对象类型还是dataframedf = df.loc[...

原始数据：id scoreaaa 1aaa 2aaa 3预期结果：id scoreaaa 1,2,3可使用select id,concat_ws(',',collect_set(cast(colname as string)))from table;使用concat_ws函数，需将字段转成string格式，collect_set会对该...

Hadoop中的一些事情，遇到了就记录下来。1、hive中的decimal字段对应于pg库中的numeric，默认为(10,0)，若不指定，数据将被四舍五入。比如0.82，在hive中会变成1，所以建表时最好指定精度，decimal(10,2)。2、shell中拼接年月日得到的日期，默认会是int型。3、sqoop导数时。

# -*- coding: utf-8 -*-from os import pathfrom PIL import Imageimport codecsimport numpy as npimport matplotlib.pyplot as pltfrom wordcloud import WordCloud, STOPWORDSd = path.dirname(__file__

阿里云ecs搭建wordpress

正则化的目的在于提高模型在未知测试数据上的泛化力，避免参数过拟合。由上一篇的例子可以看出，2次多项式回归是相对较好的模型假设。之所以出现如4次多项式那样的过拟合情景，是由于4次方项对于的系数过大，或者不为0导致。因此正则化的常见方法都是在原模型优化目标的基础上，增加对参数的惩罚项。以我们之前在线性回归器一节中介绍过的最小二乘优化目标为例，如果加入对模型的L1范数正则化，那么新的线性回归目标如下..

转载地址http://www.jb51.net/article/78541.htm记录一下#-*-coding:utf-8-*-#1、字典dict = {'name': 'Zara', 'age': 7, 'class': 'First'}#字典转为字符串，返回： {'age': 7, 'name': 'Zara', 'class': 'First'}print type(str

周四晚上胡哥给大家简单培训了一下nlp的一些算法，感觉受益匪浅。回去之后反省了一下，有段时间没看机器学习的东西了，nlp要抓，机器学习也要学。开个坑，记录和分享一下学习内容（书籍为《python机器学习及实践》）。    作为第一篇简介篇，先以介绍为主。    1959年，美国的前IBM员工塞缪尔开发了一个西洋棋程序，这个程序可以在于人类棋手对弈的过程中，不断改善自己的棋艺。在4年之后，这