一、问题描述

将pandas的df转为spark的df时，spark.createDataFrame()报错如下：

TypeError: field id: Can not merge type <class 'pyspark.sql.types.StringType'> and <class 'pyspark.sql.types.LongType'>

二、 解决方法

是因为数据存在空值，需要将空值pd.NA替换为 空字符串。

pandas_id = pandas_id.replace(pd.NA,'')
spark_id = spark.createDataFrame(pandas_id)