如何删除Spark DataFrame中仅一列具有相同值的行

我下面有一个Spark的DataFrame

*----------*-------*
|  Node ID | value |
*----------*-------*
|  Node 1  |   0   |
|  Node 2  |   1   |
|  Node 3  |   0   |
|  Node 2  |   0   |
*----------*-------*

是否有任何方法可以仅检测“节点ID”列中的相同节点ID值(例如,上面的DataFrame中的“节点2”)并删除相同节点ID值的行,即使这些值列中的行不同。 例如,我是否可以在下面输出这样一个新的DataFrame,与原来的相比,其中“ NodeID =节点2,值= 1”的行将被删除?

*----------*-------*
|  Node ID | value |
*----------*-------*
|  Node 1  |   0   |
|  Node 3  |   0   |
|  Node 2  |   0   |
*----------*-------*
bjj43h 回答:如何删除Spark DataFrame中仅一列具有相同值的行

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/2836280.html

大家都在问