Hadoop实际是一种以数据为驱动的计算模型，结合MapReduce和HDFS，将任务运行在数据存放的计算节点上，充分利用了计算节点的存储和计算资源，同时也大大节省了网络传输数据的开销。1.Hellow HadoopHadoop是一个复杂到极致，又简单到极致的东西。说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台lowcost的计算机组成，你运行的每一个任务都要在这些...

一、逻辑思维逻辑思维即了解价值链，了解各项数据中的联系; 该方法的关键在于了解其间的联系要求你对这项作业要了解、熟悉，要细致和慎密，要清楚充分性和必要性的联系。实际上也就是指：你需求那些数据?如何获得这些数据?数据之间的联系如何?二、向上思维在看完数据之后，要站在更高的角度去看这些数据，站在更高的位置上，从更长远的观点来看，从组织、公司的角度来看，从更长的时间段（年、季度、月、周）来看...

不管是数据分析，统计分析，数据挖掘、商业智能都需要在学习的时候掌握各种分析手段和技能，特别是要掌握分析软件工具!我曾经说过，学习方法，一般是先学软件开始，再去应用，再学会理论和原理。没有软件工具的方法就不要去学了，因为学了也不能做，除非你自己会编程序。那么在数据分析领域，都有哪些软件分析工具呢?如何选择呢?其实很多领域或者说分析方法都有相应的软件工具，只要你想找就应该能够找到!这...

大数据现在火到不行，究其原因是大数据的价值引得各大企业趋之若鹜。其实大数据之所以价值潜力无穷，其核心是数据挖掘，挖掘找到人们所需要的有价值的东西。然而这个过程又是怎样的呢？如何开始？如何通过数据挖掘过程中找到我们需要的东西，这个过程又是什么？总结的过程也是一个学习的过程，通过有章节的整理对目前正在的学习的内容做规整。在这个过程中我们会从具体的项目实施中去谈数据挖掘，中间会贯穿很多的概念，算...

传统的机器学习和数据分析的工具，包括SAS，IBM的SPSS，Weka以及R语言。它们可以在小数据集上进行深度分析——工具所运行的节点的内存可以容纳得下的数据集。第二代机器学习工具，包括Mahout，Pentaho，以及RapidMiner。它们可以对大数据进行我称之为粗浅的分析。基于Hadoop之上进行的传统机器学习工具的规模化的尝试，包括Revolution Analytics的成果(RH..

在互联网发展到大数据时代，那么数据就等于金钱。随着向一个基于应用的领域过渡，数据则呈现出了指数级增长。然而，百分之八十的数据是非结构化的，因此它需要一个程序和方法来从中提取有用信息，并且将其转换为可理解、可用的结构化形式。在数据挖掘过程中，有大量的工具可供使用，比如采用人工智能、机器学习，以及其他技术等来提取数据。推荐：六款强大的开源数据挖掘工具1、WEKAWEKA 原生的非 Ja...

做了这么多年的数据分析和挖掘工作，一直都在思考一个问题，“互联网和金融，在数据挖掘上到底存在什么样的区别”。在对这个问题的摸索和理解过程中，发现数据挖掘本身包含很多层次。模型本身也是存在传统和时髦之分的。本文就想聊聊这些话题。一、数据挖掘的层次一直想整理下对数据挖掘不同层次的理解，这也是这两年多的时间里面，和很多金融领域、互联网做数据相关工作的小伙伴，聊天交流的一些整理和归纳。大概可以分为...

大数据现在是一个流行词，但是什么是大数据，以及大数据如何改变电子商务行业呢?如今的人们被数据包围。人们在线和离线所做的一切都会生成数据。原始数据面临的问题在于其庞大的数量，企业很难使用它作出明智的决定。数据通常从许多来源收集：网站分析，销售指标，客户潜在客户，电子邮件用户号码等。这些信息提供了零售商和电子商务企业可以利用的有用见解。电子商务企业现在可以使用从大数据收集的信息来增加收入，获得新客户，

数据分析的目的是把隐没在一大批看来杂乱无章的数据中的信息集中、萃取和提炼出来，以找出所研究对象的内在规律。几年前,数据分析还是一个比较鲜见的职业。而今天，无论各行各业，它无处不在的闪烁着耀人的光芒。那么做数据分析需要掌握哪些技能呢?SQL和数据仓库是最需要的数据分析技术中的两项。数据和统计数据似乎现在是很热门的行业。有数百种编程语言，工具和实践方法可以练习。 但是哪种技能在就业市场中...

当我们谈到大数据分析，首先需要确定数据分析的方向和拟解决的问题，然后才能确定需要的数据和分析范围。大数据驱动的分析主要的挑战不是技术问题，而是方向和组织领导的问题，要确定方向，提出问题，需要对行业做深入的了解。当然，大数据分析最核心的，关于数据的来源更是至关重要的。在数据量非常大的今天，如何以更高的效率获取到分析所需要的数据，如何利用这些数据反应最真实的情况，是业内不断探讨的议题。接下来，...