文章目录说明分享数据采集种类数据转换dataxSqoopflume数据传输kafkapulsarhdfs-over-ftp总结2021-09-10说明本博客每周五更新一次。数据处理分为入库、计算和输出，本文主要分享数据入库。分享大数据博客列表数据采集数据采集是大数据平台数据处理流程的第一步，如何让数据以合适的效率和方式在大数据平台落地，根据场景不同，有着不同方案。一般情况如下。实时数据量巨大，要求

文章目录说明分享大数据计算引擎批处理MapReducetez流批处理Flinkspark总结说明本博客每周五更新一次。介绍过大数据平台的搭建、应用和存储，本期分享下大数据计算。分享大数据博客列表大数据计算引擎什么是计算引擎？计算引擎就是一种计算规则的高度抽象聚合体，使用者按照指定的方式编写对应接口代码，然后执行就能得到需要的结果（前提没有bug）。大数据计算场景分为两个种：批处理（历史文件）和流处

文章目录说明分享大数据存储特性和要求特性要求大数据存储现状hadoop系优点缺点非hadoop系优点缺点总结说明本博客每周五更新一次。大数据存储是大数据平台的基石，数据的存储方式直接决定数据使用效率，平台的搭建与维护成本。所有内容理论为主，不牵涉太多专业知识，目标是简单易懂。分享大数据博客列表大数据存储特性和要求特性大数据存储基本依托分布式架构（大于一台服务协同完成存储和计算的架构），将数据拆分后

文章目录说明分享大数据计算引擎批处理MapReducetez流批处理Flinkspark总结说明本博客每周五更新一次。介绍过大数据平台的搭建、应用和存储，本期分享下大数据计算。分享大数据博客列表大数据计算引擎什么是计算引擎？计算引擎就是一种计算规则的高度抽象聚合体，使用者按照指定的方式编写对应接口代码，然后执行就能得到需要的结果（前提没有bug）。大数据计算场景分为两个种：批处理（历史文件）和流处

文章目录说明分享什么是大数据？大数据平台搭建大数据应用总结2021-08-20说明本博客每周五更新一次。本文主介绍大数据是什么，现有软件架构和主流框架有哪些，具体应用是什么，还有个人的一些拙见。所有内容理论为主，不牵涉太多专业知识，目标是简单易懂。分享大数据博客列表什么是大数据？我常问自己，可一直没有一个很好的答案，直到一次电视综艺节目中，一个企业老板问询大数据求职者时，他的回答让我豁然开朗。大概

vmware虚拟机配置ipv6网络

文章目录分享说明资料过程代码kafka操作总结分享大数据博客列表说明本博客每周五更新一次。实时计算处理中，kafka是重要的分布式消息队列，常作为 Flink 计算的输入和输出，本博客将使用 Flink 1.2实现 kafka 对数据的输入和输出操作。资料官方Flink 1.12 Table API&SQL kafka操作文档地址过程从kafka：input_kafka主题消费数据并生成T

文章目录说明分享资料字段类型各类型说明字符串数值型浮点型范围数值类型时间类型binary类型array类型object类型ip类型mapping属性enabledindexindex_option_sourcenormsalldoc_valuefielddatastorecoercemultifieldsdynamicdata_detectionanalyzerboostfieldsignore_

文章目录术语TableRowColumn Family（列簇或列族）ColumnColumn QualifierCellTimestamp标识设计要点hbase与关系型数据库对比设计时考虑因素设计要点行键rowkey设计列簇设计列簇属性总结术语TableHbase的table由多个行组成。Row一个行在Hbase中由一个或多个有值的列组成。Row按照字母进行排序，因此行键的设计非常重要。这种设计方

文章目录说明分享资料服务主页安装普通方式安装系统配置安装软件软件配置elasticsearch.ymljvm.options启动并验证安装kibana用户认证开启x-pack验证创建内容用户访问测试设置密码忘记密码kibana关联账号和密码https加密传输层加密添加证书ElasticSearch开启httpsElasticsearch与Kibana 加密连接Kibana 开启https建议总结说