在互联网时代，大数据炙手可热，许多人言必称大数据，但能够真正说清大数据为何物的人并不多，如何借助大数据挖掘出巨大的商业价值。究竟如何定义大数据?大数据有哪些特征?本文旨在理清大数据概念，阐明大数据应用方式及探究未来大数据发展之道。Q1：大数据是商业炒作吗?业界给大数据的定义是4 个“V”：体量大(Volume)、种类多(Variety)、速度快(Velocity)和真实性高(Ve...

大数据风控目前应该是前沿技术在金融领域的最成熟应用，相对于智能投顾、区块链等还在初期的金融科技应用，大数据风控目前已经在业界逐步普及，从BATJ这样的大企业，到交易规模比较大的网贷平台，再到做现金贷、消费金融的创业公司，都在通过大数据风控技术来控制贷款规模扩张中的风险。大数据风控目前应该是前沿技术在金融领域的最成熟应用，相对于智能投顾、区块链等还在初期的金融科技应用，大数据风控目前已经在业...

一、大数据是什么?大数据，big data，《大数据》一书对大数据这么定义，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：1、大数据是海量的数据2、大数据处理无捷径，对分析处理技术提出了更高的要求欢迎加入大数据交流群：658558542 一起吹水交流学习二、大数据的处理流程下图是数据处理流程：欢迎加入大数据交流群：658558...

在这10年中，几乎所有行业都或多或少的受到大数据的影响。科技渗透到各个领域，并且已经成为每个处理单元的必要元素。谈到IT行业，具体来说，软件和自动化是较基本的术语，并且用于处理循环的每个阶段毫无疑问，各行各业因为大幅爆发的数据而正变得蒸蒸日上。在这10年中，几乎所有行业都或多或少的受到这 巨变的影响。科技渗透到各个领域，并且已经成为每个处理单元的必要元素。谈到IT行业，具体来说，软件和自动化是较.

腾讯计费平台部托管着公司90%以上的虚拟账户，如QB、Q点、包月服务、游戏的二级账户等，为了保证能顺畅支撑公司各大业务的实时在线交易，并且在各种灾难场景下数据是一致并且可用的，对系统的可用性、一致性切换要求非常高，因此计费团队历来都非常重视高一致性存储系统的建设。到目前为止，计费高一致性存储层的解决方案大致经过了3个阶段，本文将分享最新的基于MySQL的分布式解决方案。随着业务的发展，...

R 是一种灵活的编程语言，专为促进探索性数据分析、经典统计学测试和高级图形学而设计。R 拥有丰富的、仍在不断扩大的数据包库，处于统计学、数据分析和数据挖掘发展的前沿。R 已证明自己是不断成长的大数据领域的一个有用工具，并且已集成到多个商用包中，比如 IBM SPSS® 和 InfoSphere®，以及 Mathematica。  本文提供了一位统计学家Catherine Dalzel...

在SIP项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模式来分析统计，在我从前写的文章《Tiger Concurrent Practice —日志分析并行分解设计与实现》中有所提到。但是由于统计的内容暂时还是十分简单，所以就采用Memcache作为计数器，结合MySQL就完成了访问控制以及统计的工作。然而未来，对于海量日志分析的工作，还是需要有所准备。现在最火的技术词汇莫

Hadoop实际是一种以数据为驱动的计算模型，结合MapReduce和HDFS，将任务运行在数据存放的计算节点上，充分利用了计算节点的存储和计算资源，同时也大大节省了网络传输数据的开销。1.Hellow HadoopHadoop是一个复杂到极致，又简单到极致的东西。说它复杂，是因为一个hadoop集群往往有几十台甚至成百上千台lowcost的计算机组成，你运行的每一个任务都要在这些...

很多企业将他们的数据中心资源向AWS中迁移，而更多的企业正在考虑向AWS中迁移数据中心资源。数据中心资源向AWS迁移能够带来极大的好处，AWS提供了一整套云计算服务，可以比企业自行构建数据中心更快、更经济地提供大型、可扩展的计算能力。AWS涵盖了近100项服务，包括了分析、计算、数据库、网络、存储、移动等等。企业选择AWS的原因多种多样，可能涵盖了以下一个或多个原因：企业希望消除本地数据中心或..

随着移动网络、云计算、物联网等新兴技术迅猛发展，全球数据呈爆炸式增长，标志着我们迎来又一伟大时代——大数据时代，它的到来在不知不觉中改变着人们的生活方式和思维方式，而它对企业产生的影响也更为深远。过去技术水平和财力是衡量一家企业竞争力的主要标准，而现在企业对“大数据”的应用程度也成为提升企业的竞争力的主要手段。(一)大数据的概念IDC(互联网数据中心)研究表明，有40%的组织认为大数据...