python报错pymysql.err.DataError: (1366, “Incorrect string value: ‘\xE5\xA4\xAA\xE7\xA9\xBA…’ for column ‘title’ at row 1”)，查看后台运行的状态，数据已经获取到，所以判断这种报错的问题，这种问题一般是编码的问题。回到创建数据库命令界面发现在创建时没有添加utf8，回到数据库的创建界面

引言：沙箱虚拟化是一种资源的管理技术，将计算机中的实体资源，进行抽象，然后呈现出来，目的是为了打破实体结构之间的不可分割障碍，使用户以更好的组态使用资源。例如：anaconda 就是以沙盒环境，针对的是Python环境。搭建django过程中的virtualenv 就是python的虚拟环境。一、docker简介docker使用集装箱的思想，在开发过程中犹豫每个人的教育背景，个人习惯不同，代码水平

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL 是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。我们在下方列出了7款开源的ETL工具，并讨论了从 ETL 转向“无 ETL”的过程

在数据可视化领域我们经常使用各种图表来形象直观的展现数据，业务人员或者数据分析人员可以通过图表分析公司业务的经营状况，发现公司经营过程中潜在的隐患，还可以通过图表挖掘其中潜在的价值。那么常见的图标有哪些？在什么场景下使用样的图表才能更好的展现数据呢？一、常见的图表1. 柱图(柱状图）**柱图，**又称柱状图。是一种以长方形的长度来表达数据的统计报告图，由一系列高度不等的纵向条纹表示数据分布...

一、一般使用机器学习算法遵循的步骤摘自《机器学习实战》，感觉思路比较清晰1.收集数据。可以使用很多种方法收集样本数据，例如制作网络爬虫从网站上爬取数据，从RSS反馈或者API中得到信息，设备发送过来的实测数据（风速，血糖等）。2.准备输入数据。得到数据之后，还必须确保数据格式符合要求，使用标准数据格式后可以融合算法和数据源，方便匹配操作。此外还需要为机器学习准备特定的数据格式，如某些算...

在开始学习python大数据之前，先要搞清楚人工智能、机器学习、深度学习、数据挖掘、数据分析都是什么意思。人工智能大家族包含着丰富的内容，分清楚了每一项都是做什么的，才能选对路线。一、人工智能AI人工智能分为强人工智能和弱人工智能。强人工智能是通过计算机来构造复杂的、拥有与人类智慧同样本质特性的机器，它有着我们所有的感知（甚至比人更多），我们所有的理性，可以像我们一样思考，也就是电影里面的...

一、离线数据同步DataX阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单，定义好配置json文件执行脚本就可以了，非常适合离线数据，增量数据可以使用一些编码的方式实现，但是也仅仅针对insert数据比较有效，update数据就不适合github地址：https://github.com/alibaba/DataXSqoopSq...

OBS就是对象存储服务（Object Storage Service，OBS），它是一个高可靠、高性能、高安全的基于对象的海量存储云服务，可供用户存储任意类型和大小的数据。适合企业备份/归档、视频点播、视频监控等多种数据存储场景。

1.HiveHive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能，可以将SQL语句转换为Map-Reduce任务进行运行，可以理解为披着SQL外衣的Map-Reduce。十分适合数据仓库的统计分析。弊端：Hive是为方便用户使用Map-Reduce而在外面封装了一层SQL，由于Hive采用了SQL，它的问题域比Map-Reduce更窄，

1.简介Map Reduce 是Google 公司的核心计算模型，它将运行于大规模集群上的复杂并行计算过程高度地抽象为两个函数： Map 和Reduce 。Hadoop 是Doug Cutting 受到Google 发表的关于MapReduce 的论文的启发而开发出来的。Hadoop 中的MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群.