spark kafka Topic not present in metadata after 60000 ms

structstured streaming 结合kafka问题出在kafka加了kerberos认证在将数据写入kafka时需要加.option("kafka.security.protocol", "SASL_PLAINTEXT")

新手路上的程序员

11130人浏览 · 2020-05-13 22:25:21

新手路上的程序员 · 2020-05-13 22:25:21 发布

structstured streaming 结合kafka
问题出在kafka加了kerberos认证在将数据写入kafka时需要加.option("kafka.security.protocol", "SASL_PLAINTEXT")

spark.readStream.format("kafka")
      .option("kafka.bootstrap.servers", "")
      .option("subscribe", "")
      .option("startingOffsets", "latest")
      .option("failOnDataLoss",false)
      .option("kafka.security.protocol", "SASL_PLAINTEXT")
      .load()

大数据技术专区

大数据从业者之家,一起探索大数据的无限可能！

更多推荐

SQL：数据去重的三种方法

SQL中去除重复数据