我想避免处理空的JSON文件。我得到的一些空的JSON文件仅包含左方括号和右方括号,例如:[]
。仅包含那些内容的文件应理解为空文件。
对于Spark 2.2,以下行将返回true:
spark.read.json(pathToFile).isEmpty
但是对于Spark 2.4,它返回false。
使用Spark 2.4时如何识别这种类型的文件为空?
我想避免处理空的JSON文件。我得到的一些空的JSON文件仅包含左方括号和右方括号,例如:[]
。仅包含那些内容的文件应理解为空文件。
对于Spark 2.2,以下行将返回true:
spark.read.json(pathToFile).isEmpty
但是对于Spark 2.4,它返回false。
使用Spark 2.4时如何识别这种类型的文件为空?
查看列
val stuff = spark.read.json("hdfs:///user/me/empty.json")
scala> stuff.columns
res6: Array[String] = Array()