如何在pyspark数据框中选择或删除指定的行

如何在pyspark数据框中选择或删除指定的行? 例如在数据框中删除第三行

joenzhou 回答:如何在pyspark数据框中选择或删除指定的行

您可以使用wherefilter函数来实现此目的,如下所示:-

df.filter($"age" > 15)
df.where($"age" > 15)

更新以按列索引删除

val col = df.columns
val n   = df.columns.length 
val toBeDropped = n-1 // to drop last column  and so on..
val oldDf = df.drop(col(ToBeDropped ))  
本文链接:https://www.f2er.com/3086196.html

大家都在问