logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

大数据技术之Kafka——Kafka入门

传统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue)主要应用于大数据实时处理领域。发布/订阅:消息的发布者不会将消息直接发送给特点的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。最新定义:Kafka是一个开源的分布式事件流平台(Event Streaming Platform)被公司用于高性能数据管道流分析数据集成和关键任务应用。

文章图片
#kafka#大数据#分布式
ElasticSearch 7.x使用

The Elastic Stack包括ElasticSearch、Kibana、Beats和Logstash。能够安全可靠的获取任何来源、任何格式的数据,然后地对数据进行搜索、分析和可视化。简称ES,是一个开源的高扩展的分布式全文搜索引擎,是整个Elastic Stack技术栈的核心。它可以近乎实时的存储、检索数据。

文章图片
#elasticsearch#大数据#搜索引擎
HBase高阶(一)基础架构及存储原理

HBase是Hadoop生态系统中的一个分布式、面向列的开源数据库,具有高可伸缩性、高性能和强大的数据处理能力。广泛应用于处理大规模数据集。HBase是一种稀疏的分布式持久的多维排序map稀疏:对比关系型数据库和非关系型数据库,关系型数据库是以表格的形式进行存储,对存储的要求较高,每一行每一列都需要预留对应的存储空间,这就会造成存储空间的浪费。分布式:海量数据保存在多台机器上。持久化:将内存中的对

文章图片
#hbase#架构#数据库
【Maven】<scope>provided</scope>

scope> 被设置为 provided 是因为它主要是一个编译时工具,用来生成样板代码,如 getter、setter 方法等。一旦代码被编译,Lombok 的工作就完成了,运行时不再需要它。因此,在打包应用时,不需要将其包含在其中,因为它在运行时不是必需的。这就是为什么通常将其 scope 设置为 provided。在Maven中,“provided”是一个常用的依赖范围,它表示某个依赖项在编

#maven#java
【Maven】<scope>provided</scope>

scope> 被设置为 provided 是因为它主要是一个编译时工具,用来生成样板代码,如 getter、setter 方法等。一旦代码被编译,Lombok 的工作就完成了,运行时不再需要它。因此,在打包应用时,不需要将其包含在其中,因为它在运行时不是必需的。这就是为什么通常将其 scope 设置为 provided。在Maven中,“provided”是一个常用的依赖范围,它表示某个依赖项在编

#maven#java
大数据开发语言Scala(一)——scala入门

package: 包,等同于java中的packageobject:关键字,声明一个单例对象(伴生对象)main方法:从外部可以直接调用执行的方法def方法名称( 参数名称 : 参数类型 ) :返回值类型 = { 方法体 }Scala 完全面向对象,故scala去掉了Java中非面向对象的元素,如static关键字,void类型1) staticscala无static关键字,由object实现类

文章图片
#大数据#spark#hadoop
到底了