otherwise子句不但能接收固定的值，还可以接收原来的列，保留列中原始的数据。如下：dataF.withColumn(“newColumnName”,when(col(“columnName”).isNull,0).otherwise(col(“columnName”))).show(false)

内部函数：编码图像为Base64# 获取Base64字符串messages=[},base64,

采用老版本spark(1.6)在离线批处理环境下，将DataFrame快速写入kafka，通常可以查到的大部分都是针对Spark-Streaming进行Kafka写入的说明，但是在离线批处理环境下，也希望将批量计算的DataFrame中的数据直接写入到某个topic中，在spark2.0以上，可以直接采用spark-streaming的写入方式，只要用read 代替 resdStream 和用 w

可以用ZK UI 读取ToPology信息，然后更新offset值，如果为Null，可建一个假的，但是要保证kafka里有这个offset的数据。然后重启topology即可。