使用Spark 2.4识别空的JSON文件

我想避免处理空的JSON文件。我得到的一些空的JSON文件仅包含左方括号和右方括号,例如:[]。仅包含那些内容的文件应理解为空文件。

对于Spark 2.2,以下行将返回true:

spark.read.json(pathToFile).isEmpty

但是对于Spark 2.4,它返回false。

使用Spark 2.4时如何识别这种类型的文件为空?

gxwmwy 回答:使用Spark 2.4识别空的JSON文件

查看列

val stuff = spark.read.json("hdfs:///user/me/empty.json")

scala> stuff.columns
res6: Array[String] = Array()
本文链接:https://www.f2er.com/3159854.html

大家都在问