目录概述性能调优减少批处理时间数据接收中的并行度容错语义自定义接收器如何在Spark流中实现精确语义与幂等写入恰好一次与事务写入完全一致实现-zookeeper实现-hbase实现方式-mysql概述Spark Streaming是核心Spark API的扩展，可实现实时数据流的可伸缩，高吞吐量，容错流处理。数据可以从像卡夫卡，室壁运动，或TCP套接字许多来源摄入，并且可以使用与像高级别功能表达复

pyspark集群部署1、安装spark2.1.0 （略）2、安装Python3环境下载Anaconda3-4.2.0-Linux-x86_64.sh下载地址https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-4.2.0-Linux-x86_64.sh安装Anaconda3切换到有hdfs读写

介绍前端vue框架相关高频面试题，答案超详细

早期版本消费的 offset 存放在 Zookeeper 集群,利用 Zookeeper 来存储记录每个消费者/组的消费进度,消费者需要频繁的去与 Zookeeper 进行交互，而利用ZKClient的API操作Zookeeper频繁的Write其本身就是一个比较低效的Action，对于后期水平扩展也是一个比较头疼的问题。如果期间 Zookeeper 集群发生变化，那 Kafka 集群的吞吐量也

背景最近在做大数据平台项目，需要将相关处理过程的日志实时展现给前端，目前想到的方案就是通过websocket的方式，日志收集端生产日志到kafka，我这边服务端实时消费，然后推送给前端html 实时展现。实现步骤服务端配置类kafka配置@Component@Configuration@Validatedpublic class KafkaConfig {public static String

0.8.2Kafka已经内置了机架感知以便隔离副本，这使得Kafka保证副本可以跨越到多个机架或者是可用区域，显著提高了Kafka的弹性和可用性。这个功能是由Netflix提供的　　所有Kafka中的消息都包含了时间戳字段，这个时间就是这条消息产生的时间。这使得Kafka Streams能够处理基于事件时间的流处理；而且那些通过时间寻找消息以及那些基于事件时间戳的垃圾回收特性能为可能。Apa...

如何防止数据丢失生产者：同步发送消息，且消息配置为-1或all，leader分区和所有follwer都写到磁盘里。异步模式下，为防止缓冲区满，可以在配置文件设置不限制阻塞超时时间，当缓冲区满时让生产者一直处于阻塞状态。生产者：手动提交，即读取到消息后，确认消息消费完毕，才手动提交offset。但是要避免逻辑处理时间过长，导致连接超时，会使消息重复消费。故kafka一定要配置上消息重试的机制...

apache 基金会发布开源项目的地址：http://archive.apache.org/dist/国内镜像：https://mirrors.tuna.tsinghua.edu.cn/apache/

版本kafka_2.11-2.4.1server.properties# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements.See the NOTICE file distributed with# this work for additional i

0.14.1HDFS中更好的校验和。校验和不再存储在并行HDFS文件中，而是由数据节点与块一起直接存储。这对于命名节点更加有效，并且还提高了数据完整性。管道：MapReduce的C ++ APIEclipse插件，包括HDFS浏览，作业监视等。HDFS中的文件修改时间。1.0安全HBase（append / hsynch / hflush和安全性）webhdfs（全面支持安全性）...