笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。

我的公众号为：livandata

1、数据分析的内容：

          

2、数据分析与挖掘的相关模块：

 

3、安装报错：

Import genism时会报错：Chunkize warning while installing gensim

此时需要在import genism前面加上：

UserWarning: detected Windows; aliasingchunkize to chunkize_serial

warnings.warn("detected Windows;aliasing chunkize to chunkize_serial")

解决方案： 
在import gensim前面加入：

import warnings

warnings.filterwarnings(action='ignore',category=UserWarning, module='gensim')

import gensim

numpy的最大功能是创建数组，创建数组的格式为：numpy.array([“a”,”f”,”e”])

#!/usr/bin/env python
# _*_ UTF-8 _*_
import numpy
#一维数组
x=numpy.array(['s','d','f'])
#二维数组[[],[],[]]
y=numpy.array([[3,13,23],[3,4,6],[2,3,5]])
#排序：sort()
x.sort()
y.sort()
#取最大值和最小值：
y1 = y.max()
y2 = y.min()
#切片：
#数组[起始下标:最终下标+1]
#例：x[1:3] #即取到1-2；

Pandas的使用：

#!/usr/bin/env python
# _*_ UTF-8 _*_
import pandas as pda
#series:代表一行或者一列
#一串数字即代表一个series,字符串前面会自动添加索引，如果不指定索引，则会0,1……往下添加。
#DataFrame:类似于表格，即行和列整合在一起的数据结构

#索引默认0,1,2,3
a = pda.Series([8,9,2,1])
#指定索引：
b = pda.Series([8,9,2,1], index=["one","two","three","four"])

#默认行列名
c = pda.DataFrame([[5,6,2,3],[8,4,6,3],[6,4,31,2]])
#指定行列名：
d = pda.DataFrame([[5,6,2,3],[8,4,6,3],[6,4,31,2]], columns=["one","two","three","four"])

#通过字典的方式来创建数据框：
e = pda.DataFrame({
    "one":4,    #如果数字不足，系统会自动填充。
    "two":[6,2,3],
    "three":list(str(982))
})

#头部数据，默认显示前五行，如果不够五行则取前五行。
d.head(5)

#取数据的后五行,默认五行：
d.tail()

#按列统计数据的情况，会显示多个统计值。
d.describe()

#转置：即将行变成列，将列变成行；
d.T

4、数据导入部分：

Csv文件格式问题经常会出现，对于常用的csv的文件，需要以utf-8的方式保存，即已另存为的方式保存为utf-8的csv文件格式。

其他方式会报错：编码失败的错误（以什么方式编码，就以什么方式解码）。

导入csv格式文件：

import pandas as pda

#导入csv格式的内容：
i = pda.read_csv("abc2.csv",  delimiter='\t')

print(i)

i.describe()

i.sort_values(by='A')

导入Excel文件：

#!/usr/bin/env python
# _*_ UTF-8 _*_

import pandas as pda

#导入Excel数据：

i = pda.read_excel('abc.xlsx')

print(i)

导入mysql的数据：

中间存在乱码问题，需要解决。

import pandas as pda
import pymysql

conn = pymysql.connect(host="127.0.0.1",
                       user="root",
                       passwd="123456",
                       db="livan")

sql = "select * from goods"

k = pda.read_sql(sql, conn)

print(k)

导入HTML数据：

import pandas as pda
#abc.html也可以更换成http://www.baidu.com等网页，只要网页中有table即可。

kl = pda.read_html("abc.html")

print(kl)

导入文本数据：

#!/usr/bin/env python
# _*_ UTF-8 _*_

import pandas as pda

ts = pda.read_table("abc.txt")

print(ts)

5、matplotlib的作图基础：

以基础的方式讲解，主要讲解折线图和散点图。

#!/usr/bin/env python
# _*_ UTF-8 _*_

import matplotlib.pylab as pyl
import numpy as npy

#折线图或者散点图matplotlib.pylab：
x = [1,2,3,4,8]
y = [5,7,2,1,5]

# 折线图：
# 一般会有几个参数，x轴的数据，Y轴的数据，展现形式；
#pyl.plot(x, y)
# pyl.show()

# 散点图：
#pyl.plot(x, y, 'o')
# pyl.show()

#改变颜色：
#c---cyan---青色；
#r---red---红色；
#m---magente---品红；
#g---green---绿色；
#b---blue---蓝色；
#y---yellow---黄色；
#k---black---黑色；
#w---white---白色；
#第三个参数可以叠加。

# pyl.plot(x, y, 'oc')
# pyl.show()

# 线条的样式：
#“-”普通的直线；
#“--” 代表虚线；
#“-.”-。的形式；
#“：”细小虚线。

# pyl.plot(x, y, '--')
# pyl.show()

#改变点的样式：
#s---方形；
#h---六角形；
#*---星型；
#+---加号的形式；
#x--x型；
#d---菱形；
# p---五角型

pyl.plot(x, y, '*')
# 同一副图上添加第二幅
x2 = [1,3,6,8,10,12,13,19]
y2 = [1,6,9,10,19,23,35,34]

pyl.plot(x2, y2)

pyl.plot()
# pyl.show()

# 标题，坐标等设置
pyl.title("show")
pyl.xlabel("ages")
pyl.ylabel("temp")
pyl.xlim(0,10)
pyl.ylim(0,8)

pyl.show()

讲直方图：

如何生成随机数：

#!/usr/bin/env python
# _*_ UTF-8 _*_

import matplotlib.pylab as pyl
import numpy as npy
# 直方图hist：
# (最小值，最大值，个数)
# data = npy.random.random_integers(1,20, 10)
#生成具有正态分布的随机数：
#(平均数， 标准差，个数)
data = npy.random.normal(10.0,1.0,10000)

data2 = npy.random.random_integers(1,25,10000)

# pyl.hist(data2)
#设置直方图的宽度，上限和下限参数为：（上限，下限，宽度）
sty = npy.arange(2, 17, 4)
#取消柱型轮廓：histtype='stepfilled'
pyl.hist(data, sty, histtype='stepfilled')
sty = pyl.show()

print(data)

如何创建子图：

如图区域如何实现：

#!/usr/bin/env python
# _*_ UTF-8 _*_

import matplotlib.pylab as pyl
import numpy as npy

#子图：同一个图片有多个图片：
#参数：(行，列，当前区域)
pyl.subplot(2,2,1)
x1=[1,2,3,4,5]
y1=[5,3,5,23,5]
pyl.plot(x1,y1)

pyl.subplot(2,2,2)
x2=[1,2,3,4,5]
y2=[5,3,5,23,5]
pyl.plot(x2,y2)

pyl.subplot(2,1,2)
x3=[1,2,3,4,5]
y3=[5,3,5,23,5]
pyl.plot(x3,y3)

pyl.show()

43、读取和讯博客的数据，并进行可视化分析：

#!/usr/bin/env python
# _*_ UTF-8 _*_

import matplotlib.pylab as pyl
import numpy as npy
import pandas as pda

data = pda.read_csv("F:/python_workspace/file/hexun.csv")
# # 查看各行列的详细内容[第几行][第几列]
# print(data.values)
# #取一行
# print(data.values[1])
# #取一个单元格
# print(data.values[1][1])
# print(data.shape)

# 取出一列的数据(取出第三列)：
data2 = data.T
y1 = data2.values[3]
x1 = data2.values[4]
# pyl.plot(x1, y1)
# pyl.show()
x2 = data2.values[0]

pyl.plot(x2, y1)
pyl.show()