Apache Spark如何将列表/数组中的新列追加到Spark数据框-当数据框具有多个列时

我如何对df中的所有列都具有相同的结果,如果是多列df。例如:df中的所有列都附加有row2。

val list = List(4,5,10,7,2)
val df   = List("a","b","c","d","e").toDF("row1")

df.collect()
  .map(_.getas[String]("row1"))
  .zip(list).toList
  .toDF("row1","row2")

@Tzach Zohar,您的回答很好,但需要进行一些细微的改动。

https://stackoverflow.com/a/44396289/10203846

参考链接:Apache Spark how to append new column from list/array to Spark dataframe

@Psidom建议的解决方案给出以下错误: 线程“主”中的异常java.lang.IllegalArgumentException:无法压缩分区数量不相等的RDD:List(5,8)     在  org.apache.spark.rdd.ZippedPartitionsBaseRDD.getPartitions(ZippedPartitionsRDD.scala:57)

wutian000523 回答:Apache Spark如何将列表/数组中的新列追加到Spark数据框-当数据框具有多个列时

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3131819.html

大家都在问