“云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。云也是分层的　　任何一个在互联网上提供其服务的公司都可以叫做云计算公司。其实云计算分几层的，分别是Infrastructure（基础设施）-as-a-Service，Platform（平台）-as-a-Service，Software（软件）-as-a-Service。基...

Zookeeper有什么作用？优缺点？有什么应用场景？

介绍下Kafka，Kafka的作用？Kafka的组件？适用场景？

1、数据倾斜数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。数据倾斜俩大直接致命后果。1、数据倾斜直接会导致一种情况：Out Of Memory。2、运行速度慢 。主要是发生在Shuffle阶段。同样Key的数据条数太多了。导致了某个key(下图中的80亿条)所在的Task数据

Kafka支持三种消息投递语义：①Atmost once消息可能会丢，但绝不会重复传递②At least one 消息绝不会丢，但可能会重复传递③Exactly once每条消息肯定会被传输一次且仅传输一次，很多时候这是用户想要的consumer在从broker读取消息后，可以选择commit，该操作会在Zookeeper中存下该con...

大数据面试题：Kafka怎么保证数据不丢失，不重复？

如果Partition Follower长时间（replica.lag.time.max.ms，默认10s）未向Leader同步数据，则该Partition Follower将被踢出ISR，存入OSR（Outof-Sync Replicas）列表（AR = ISR + OSR，AR（Assigned Repllicas）：一个partition的所有副本（就是replica，不区分Leader或F

大数据面试题：Kafka的单播和多播

如果直接将代码从IDEA或者eclipse复制到Evernote 中，一般是不会有代码高亮部分的，复制到代码块中也是没有的，因此，我们可以通过notepad++来解决这个问题1、Evernote +notepad++2、通过notepad++打开代码的源文件（注意：不要从IDE中直接copy，而是用notepad++打开源文件）3、代开源文件后，在notepad++中，...

一、为什么要使用Maven1、第三方jar包添加在今天的JavaEE开发领域，有大量的第三方框架和工具可以供我们使用。而要使用这些jar包最简单的方法就是复制粘贴到WEB-INF目录下的lib目录下。但这会导致每创建一个新的工程就需要将jar包重复复制到lib目录下，从而造成工作区中存在大量重复的文件。使用Maven后每个jar包只在本地仓库中保存一份，需要jar包的工程只需要维护一个文本形式的j