logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

未填写擅长的技术栈

可提供的服务

暂无可提供的服务

Spark dataframe写入kafka

1// 创建推送kafka的对象val kafkaProducer: Broadcast[KafkaSink[String, String]] = {val kafkaProducerConfig = {val p = new Properties()p.setProperty("bootstrap.servers", "25.50.192.184:20092,25.50.192.185:2009

#kafka#spark#scala
spark dataframe写入hive、hdfs、es、oracle

1.写入hive的指定分区中写入数据ResulToOra2.createTempView("tmp")spark.sql(s"""|insert overwrite table pdr.T_PSSC_TRAN_PORTRAIT_CENTER partition(dt='${sdfDay.format(date)}') select * fromtmp|""".stripMargin)pr

#hive#spark#oracle
到底了