我如何对df中的所有列都具有相同的结果,如果是多列df。例如:df中的所有列都附加有row2。
val list = List(4,5,10,7,2)
val df = List("a","b","c","d","e").toDF("row1")
df.collect()
.map(_.getas[String]("row1"))
.zip(list).toList
.toDF("row1","row2")
@Tzach Zohar,您的回答很好,但需要进行一些细微的改动。
https://stackoverflow.com/a/44396289/10203846
参考链接:Apache Spark how to append new column from list/array to Spark dataframe
@Psidom建议的解决方案给出以下错误: 线程“主”中的异常java.lang.IllegalArgumentException:无法压缩分区数量不相等的RDD:List(5,8) 在 org.apache.spark.rdd.ZippedPartitionsBaseRDD.getPartitions(ZippedPartitionsRDD.scala:57)