前面使用的是Win7系统，所以安装就按照网上教程基本都能搞定，最近换了电脑（现在基本都是自带Win10，有时候感觉有点恶心。。。。。。），装好虚拟机之后，打算装个SecureCRT，整了半天，网上教程看遍了。。。。。还是没解决，最后用了个比较傻的办法 [笑哭.jpg]解决了1、先在Win7环境下把SecureCRT安装好（U盘或者本地都行），之后把安装好的SecureCRT&FX拷贝...

“云”其实是互联网的一个隐喻，“云计算”其实就是使用互联网来接入存储或者运行在远程服务器端的应用，数据，或者服务。云也是分层的　　任何一个在互联网上提供其服务的公司都可以叫做云计算公司。其实云计算分几层的，分别是Infrastructure（基础设施）-as-a-Service，Platform（平台）-as-a-Service，Software（软件）-as-a-Service。基...

Zookeeper有什么作用？优缺点？有什么应用场景？

介绍下Kafka，Kafka的作用？Kafka的组件？适用场景？

1、数据倾斜数据倾斜指的是，并行处理的数据集中，某一部分（如Spark或Kafka的一个Partition）的数据显著多于其它部分，从而使得该部分的处理速度成为整个数据集处理的瓶颈。数据倾斜俩大直接致命后果。1、数据倾斜直接会导致一种情况：Out Of Memory。2、运行速度慢 。主要是发生在Shuffle阶段。同样Key的数据条数太多了。导致了某个key(下图中的80亿条)所在的Task数据

Kafka支持三种消息投递语义：①Atmost once消息可能会丢，但绝不会重复传递②At least one 消息绝不会丢，但可能会重复传递③Exactly once每条消息肯定会被传输一次且仅传输一次，很多时候这是用户想要的consumer在从broker读取消息后，可以选择commit，该操作会在Zookeeper中存下该con...

大数据面试题：Kafka怎么保证数据不丢失，不重复？

如果Partition Follower长时间（replica.lag.time.max.ms，默认10s）未向Leader同步数据，则该Partition Follower将被踢出ISR，存入OSR（Outof-Sync Replicas）列表（AR = ISR + OSR，AR（Assigned Repllicas）：一个partition的所有副本（就是replica，不区分Leader或F

大数据面试题：Kafka的单播和多播

如果直接将代码从IDEA或者eclipse复制到Evernote 中，一般是不会有代码高亮部分的，复制到代码块中也是没有的，因此，我们可以通过notepad++来解决这个问题1、Evernote +notepad++2、通过notepad++打开代码的源文件（注意：不要从IDE中直接copy，而是用notepad++打开源文件）3、代开源文件后，在notepad++中，...