参考如下的技术贴python - psycopg2 : cursor already closed - Stack Overflowhttps://stackoverflow.com/questions/35651586/psycopg2-cursor-already-closed[Solved] Python psycopg2 : cursor already closed - Code Red

报错日志截取部分如下：XXXXXXXXXX ERROR YarnSchedulerBackend$YarnSchedulerEndpoint:91 - Sending RequestExecutors(0,0,Map(),Set()) to AM was unsuccessfuljava.io.IOException: Failed to send RPC 7226114124420331...

org.apache.spark.SparkException: Could not find CoarseGrainedScheduler

在写入Hive表时，表已经删除，但文件还在，参考https://docs.microsoft.com/zh-cn/azure/databricks/kb/jobs/spark-overwrite-cancel将标志设置spark.sql.legacy.allowCreatingManagedTableUsingNonemptyLocation为true.set("spark.sql.legacy.

21.spark sql 从某一个表读取数据，之后再将数据写回原表，没有数据？原因：回归问题本质，Spark是惰性执行。 具体解释请看如下帖子中的说明。最佳答案问题出在您的代码中.因为您覆盖了一个您尝试读取的表,所以在Spark实际访问它之前,您会有效地删除所有数据.请记住,Spark是懒惰的.创建数据集时,Spark会提取所需的元数据,但不会加载数据.因此,没有魔法缓存可以保留...

8.java.lang.IllegalArgumentException: Can't zip RDDs with unequal numbers of partitions这个报错，是因为使用rdd的zip函数时，两个rdd的分区个数不一致所致。摘录一段官方api说明：Zips this RDD with another one, returning key-value pai...

21.spark sql 从某一个表读取数据，之后再将数据写回原表，没有数据？原因：回归问题本质，Spark是惰性执行。 具体解释请看如下帖子中的说明。最佳答案问题出在您的代码中.因为您覆盖了一个您尝试读取的表,所以在Spark实际访问它之前,您会有效地删除所有数据.请记住,Spark是懒惰的.创建数据集时,Spark会提取所需的元数据,但不会加载数据.因此,没有魔法缓存可以保留...

此贴，主要记录本人在工作中遇到的某些报错问题，并提出自己的解决办法。1.spark = SparkSession.builder() TypeError: 'Builder' object is not callable解决办法：.builder() 改为.builderhttps://issues.apache.org/jira/browse/SPARK-1842...

在调用python的某些类时，事先并不确定参数的，需要自行拼接字符串。解决办法如下，参考：https://stackoverflow.com/questions/48838289/pass-string-parameter-into-class-function-pythonhttps://stackoverflow.com/questions/48838289/pass-string-param