目录Flume概述应用场景Flume优势Flume架构Flume与Kafka对比Flume+Kafka双剑合璧构建大数据平台日志采集Flume安装配置Flume概述flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一...

前言由于对安全防御缺乏认识，在管理阿里云服务器一年半时间后，出现了一次业务数据库被勒索事件。具体记录就是业务数据库被删除，勒索病毒自己创建一个数据库，插入一条数据，数据大概内容就是你们的数据库已经被我黑了，我们现在还保有备份，请在什么什么日期之前转多少比特币到哪，如果不转，我们将把数据库备份删除。大概这些内容，这件事发生在要为客户演示之前一天，演示数据库丢失，由于之前已经跟开发人员沟通做好数据..

目录功能架构技术架构总体架构功能架构技术架构总体架构

功能架构物理拓扑

中国GDP增速放缓，互联网进入中国下半场，40万亿5G新基建，AI是绝对的主角，它将彻底改变世界，改变生活。到底什么是AI呢？用一句话概括，统计学的机器延展。人工智能又称为机器智能，核心是机器，人发明的机器。让机器具备甚至超越人类的推理、认知、统筹规划、学习、交流、移动、实用工具、操作机器，甚至第六感的能力人工智能相关的伦理、哲学方面争议颇多，维度高的生物统治维度低的生物，人类大部分在第三维度，特

技术本无好坏，在于适当的使用和积累。框架没有固定模式，主要是根据具体业务去设计最适合的框架。"分布式"基本思想总结1.系统拆分大系统小做“。对于一个大的复杂系统，首先想到的就是对其分拆，拆成多个子系统。每个子系统自己的存储/Service/接口层，各个子系统独立开发、测试、部署、运维。从团队管理角度讲，也可以不同团队用自己熟悉的语言体系，团队之间基于接口进行协作，职责清晰，各司其职。...

目录理解APP相关概念关于混合开发(Hybrid App)几种APP开发方式对比混合开发框架/平台选择理解APP相关概念APP应用分为webAPP、混合APP、源生APP。而移动端能目前支持的应用，除了APP还有小程序。先看看webAPP、混合APP、源生APP、小程序的区别。1、webAPP只用web语言开发的，基于移动浏览器的应用。webAPP优势：跨平台兼容性很好，开发速度快...

功能架构物理拓扑

数据平台进化实际上世界都是围绕数据在转，只是计算机、网络的出现让数据虚拟化、可视化、持久化、通信化。以前写信，现在社交软件通信；以前各地同一样商品价格差，需要人去传播，现在各大电商平台已把此种情况规避；以前的有纸化办公，升级到现在的全面电子化办公；包括当前的AI、大数据，即将的5G、物联网等，纯软件领域、软硬结合领域，所有都离不开数据的支撑，而数据的重要不言而喻。所以构建数据平台，对数据进行集..

目录行为数据采集业务数据采集与转换第三方系统API对接用户数据关联人工数据采集数据输出行为数据采集1.埋点采集①跨平台打通确定性方法识别利用用户帐号体系中，可以是系统生成的 UserID，可以是手机号，也可以是邮箱，不同的产品情况略有差异，总之就是用户唯一的标识。 如果应用在 Android、iOS、Web、微信公众号四个平台上运营，各个平台用统一的帐号体系。假如小明有Android、iOS、PC