1.缺失值处理SparkSQL提供了DataFrameNaFunctions缺失值处理框架,使用Dataset的na函数来获取(1)如何使用 SparkSQL 处理 null 和 NaN ?首先要将数据读取出来, 此次使用的数据集直接存在 NaN, 在指定 Schema 后, 可直接被转为 Double.NaNval schema = StructType(List(StructField("id

1.问题描述hadoop namenode状态 is safe mode(安全模式)虚拟机安装的机器,因为资源比较少,网络心跳发送比较慢,很容易进入安全模式2.解决办法hadoop dfsadmin -safemode leave使用命令解决之后,hbase HMaster进程才可以启动...

准备工作16.04乌班图镜像MV虚拟机Xshell6xftp6乌班图操作系统安装1.首先安装VM2.创建一个乌班图虚拟机，设置镜像安装python在乌班图cmd窗口中做192.168.147.1461.此时要想开放本机SSH服务以便其他系统登陆访问，就必须安装openssh-serverapt-get instal...

1.Kafka客户端操作AdminClientAPI:允许管理和检测Topic,broker以及其他kafka对象ProducerAPI:发布消息到1个或者多个topicConsumerAPI:订阅一个或者多个topic,并处理产生的消息上述三类API为我们生产中主要使用的APIproducer的作用就是创建topic并且向其发送数据,而consumer的作用是拉取topic上面数据,进行相应的业

1.Kafka客户端操作AdminClientAPI:允许管理和检测Topic,broker以及其他kafka对象ProducerAPI:发布消息到1个或者多个topicConsumerAPI:订阅一个或者多个topic,并处理产生的消息上述三类API为我们生产中主要使用的API...

1.Kafka客户端操作AdminClientAPI:允许管理和检测Topic,broker以及其他kafka对象ProducerAPI:发布消息到1个或者多个topicConsumerAPI:订阅一个或者多个topic,并处理产生的消息上述三类API为我们生产中主要使用的API2.producer发送模式异步发送同步发送回调发送kafka的Future类型,就是发出去不管了producer发送过

准备工作16.04乌班图镜像MV虚拟机Xshell6xftp6乌班图操作系统安装1.首先安装VM2.创建一个乌班图虚拟机，设置镜像安装python在乌班图cmd窗口中做192.168.147.1461.此时要想开放本机SSH服务以便其他系统登陆访问，就必须安装openssh-serverapt-get instal...