我们在之前的文章中已经学习了数据仓库hive，如果要对数据仓库进行交互查询，则需要交互查询的引擎用于提高查询效率。本章介绍presto。简介Presto是一个开源的分布式SQL查询引擎，适用于实时交互式分析查询，支持海量的数据；主要是为了解决商业数据仓库的交互分析，和处理速度低下的问题。它支持标准的ANSI SQL，包括复杂查询、聚合（aggregation）、连接（join）和窗口函数（...

我们在选型开源分布式存储系统框架之前需要对不同的框架进行调研。所有的开源存储系统介绍链接存储系统对比目前比较热门的分布式文件系统有如下几种:Ceph，GlusterFS,Sheepdog,Lustre,Swift,Cinder,TFS,HDFS,MooseFS,FastDFS,MogileFS等开源协议说明GPL:不允许修改后和衍生的代码做为闭源的商业软件发布和销售，修改后...

我们在上一篇文章中已经学习了Hive的常用命令，但是如果使用其他的语言如何跟Hive进行交互呢。Thrift简介Hive拥有HiveServer(Thrift)或者Hiveserver2组件，提供了JDBC驱动服务，使得我们可以用Java代码或者Python来连接Hive并进行一些关系型数据库的sql语句查询等操作。HiveServer或者HiveServer2都是基于Thrift的，...

我们在之前的文章中已经学习过了presto的安装部署和连接hive使用。 并且在cli命令界面中进行了操作。数据仓库(十)—分布式SQL查询引擎—presto安装部署和连接hive使用不过我们最终的应用场景肯定是在可视化web中进行查询分析，所以有必要在web的框架中使用presto对hive进行查询。因为我们一直用的比较多的都是SpringMVC框架，所以在这个基础上进行配置使用。...

简介我们在上一篇数据仓库选型中已经确定了用使用Pentaho作为BI可视化分析工作。Pentaho的中文文档多，国际化做的比较好。巧合的是我们之前使用的ETL数据清洗工具kettle也是属于Pentaho公司的。Pentaho是世界上最流行的开源商务智能软件。Pentaho是基于Java平台的商业智能套件，之所以说它是套件是因为它包括一个Web Server 平台和几个工具软件：报...

大家早上好，非常高兴能来参加这次上海站的数据驱动增长大会。以前说到数据驱动业务增长，我们第一个想到的可能是数据分析的方法。但就目前来看，数据驱动业务的增长已经成为一个不仅仅是分析方法和模型，而是包括了数据人才培养、数据架构的设计，甚至整个公司组织架构设计的企业治理问题。所以今天我想从途家数据团队的发展、部门的构成及职责这两个方面去跟大家分享一下途家网的一些实践。如果对一个公司的业务没有足够...

api官网链接：http://api.amap.com/Javascript/example#http://api.amap.com/Javascript/plugin_detail/id/0代码示例如下(保存为html打开可见效果如下图)：按关键字查询body{ margin:0; padding:0;font:12px/16px Verdan

如需转载请注明出处:python–爬虫–获取和解析存储网页内容–以薄荷网为例我们在之前的文章中已经学习了如何进行数据抓包和截取 以及分析 访问网页。例如:抓取app数据教程–fiddler抓包数据截取-薄荷app为例本章主要 学习怎么获取 分析出来的链接地址的内容，进行解析和进行保存。分析网页或者手机APP请求地址通过观察fiddler中的请求可以发现我们需要抓取的地址。详情可参考...

应用场景有时候我们需要对别人的网页 或者 自己已经发布的网页进行 一些js调试。这时候我们是无法修改源代码运行的。但是在Chrome的console中是可以修改运行的。(仅限未压缩的js)步骤F12 在Sources里面找到你的JS文件这个时候直接在js文件里修改 保存是没有用的，无法生效。需要把需要修改的js复制到Console中修改后直接回车运行即可生效。

转载请注明出处：pycharm切换python版本我们已经在pycharm打开一个项目，但是发现它默认使用的是python2作为解析和运行。pycharm支持多python版本相互切换。前提是 已经安装有多个python版本。步骤如下：点击Pycharm图标–》Preferences—》Project Interpreter --》右边下拉—》Show All —》选择合适版本 --》 ...