Exception in thread "main" org.apache.spark.sql.AnalysisException: Cannot write incompatible data to table '`dwd`.`dim_customer_inf`':
- Cannot safely cast 'dwd_insert_time': string to timestamp
- Cannot safely cast 'dwd_modify_time': string to timestamp

这是因为从 Spark 3.0.0 开始,Spark SQL 增加了一个安全策略,不对非同类型的数据进行强制转换,然后就会出现这个错误。

解决方法:

val spark = SparkSession.builder().config(sparkConf)
    .config("spark.sql.storeAssignmentPolicy", "LEGACY")
    .enableHiveSupport().getOrCreate()
Logo

鸿蒙生态一站式服务平台。

更多推荐