随着业务的发展、微服务架构的升级，服务的数量、程序的配置日益增多（各种微服务、各种服务器地址、各种参数），传统的配置文件方式和数据库的方式已无法满足开发人员对配置管理的要求：安全性：配置跟随源代码保存在代码库中，容易造成配置泄漏。时效性：修改配置，需要重启服务才能生效。局限性：无法支持动态调整：例如日志开关、功能开关。因此，分布式配置中心应运而生！开源项目关于分布式配置中心，网...

随着移动互联网的发展，万物互联成为了可能，这种互联所产生的数据也在爆发式地增长，而这些数据恰好可以作为分析关系的有效原料。如果说以往的智能分析专注在每一个个体上，在移动互联网时代则除了个体，这种个体之间的关系也必然成为我们需要深入分析的很重要一部分。在一项任务中，只要有关系分析的需求，知识图谱就“有可能”派的上用场。说到关系的重要性，我们先来看一个有意思的理论，六度分隔理论（英语：Six Deg.

为什么要做风控系统不做的话，会有以下风险：各种小号、垃圾账号泛滥撞库攻击、盗号、毁号、拖库等拉新 10w 留存率不到 5%百万营销费用，却增加不了用户粘性投票票数差距非常悬殊各种榜单被垃圾账号占领实物奖励被机器人领走红包被秒抢下单不付款占库存虚拟占座刷单炒信……风控场景营销活动反作弊防御现金红包奖励、优惠劵促销、电商秒杀等营销活动场景下薅羊毛、黄牛...

为什么要做风控系统不做的话，会有以下风险：各种小号、垃圾账号泛滥撞库攻击、盗号、毁号、拖库等拉新 10w 留存率不到 5%百万营销费用，却增加不了用户粘性投票票数差距非常悬殊各种榜单被垃圾账号占领实物奖励被机器人领走红包被秒抢下单不付款占库存虚拟占座刷单炒信……风控场景营销活动反作弊防御现金红包奖励、优惠劵促销、电商秒杀等营销活动场景下薅羊毛、黄牛...

随着移动互联网的发展，万物互联成为了可能，这种互联所产生的数据也在爆发式地增长，而这些数据恰好可以作为分析关系的有效原料。如果说以往的智能分析专注在每一个个体上，在移动互联网时代则除了个体，这种个体之间的关系也必然成为我们需要深入分析的很重要一部分。在一项任务中，只要有关系分析的需求，知识图谱就“有可能”派的上用场。说到关系的重要性，我们先来看一个有意思的理论，六度分隔理论（英语：Six Deg.

在 QCon 北京 2019 大会上，赵云讲师做了《苏宁 OLAP 引擎发展之路》主题演讲，主要内容如下。演讲简介：对于海量大数据进行即时的多维分析，没有任何银弹。为解决苏宁复杂业务场景下的通用指标分析查询场景，我们结合各项大数据技术建立苏宁 OLAP 引擎。支持单模型百亿条 TB 级别数据的实时汇总分析和明细查询，在建设过程中，也遇到了各种各样的挑战。如何将复杂业务场景抽象化，提供平台级能...

今天我们来看一下淘宝、美团和滴滴的大数据平台，一方面进一步学习大厂大数据平台的架构，另一方面也学习大厂的工程师如何画架构图。通过大厂的这些架构图，你就会发现，不但这些知名大厂的大数据平台设计方案大同小异，架构图的画法也有套路可以寻觅。淘宝大数据平台淘宝可能是中国互联网业界较早搭建了自己大数据平台的公司，下图是淘宝早期的 Hadoop 大数据平台，比较典型。淘宝的大数据平台基本也是分成三个部分...

1、测试环境该benchmark用到了六台机器，机器配置如下l  IntelXeon 2.5 GHz processor with six coresl  Six7200 RPM SATA drivesl  32GB ofRAMl  1GbEthernet这6台机器其中3台用来搭建Kafka broker集群，另外3台用来安装Zookeeper及生成测试数据。6个drive

1. 概述本手册主要介绍了，一个将传统数据接入到Hadoop集群的数据接入方案和实施方法。供数据接入和集群运维人员参考。1.1.  整体方案Flume作为日志收集工具，监控一个文件目录或者一个文件，当有新数据加入时，收集新数据发送给Kafka。Kafka用来做数据缓存和消息订阅。Kafka里面的消息可以定时落地到HDFS上，也可以用Spark Streaming来做实时处理，然后将处理

CREATE OR REPLACE FUNCTION copyData()RETURNS boolean AS$BODY$DECLAREi int;begini :=1;FOR i IN 1..9 LOOPcopy tb4_20130109012 to '/mnt/ramfs/weibo.tb4001w';copy tb4_20130109012 from '/