我下面有一个Spark的DataFrame
*----------*-------*
| Node ID | value |
*----------*-------*
| Node 1 | 0 |
| Node 2 | 1 |
| Node 3 | 0 |
| Node 2 | 0 |
*----------*-------*
是否有任何方法可以仅检测“节点ID”列中的相同节点ID值(例如,上面的DataFrame中的“节点2”)并删除相同节点ID值的行,即使这些值列中的行不同。 例如,我是否可以在下面输出这样一个新的DataFrame,与原来的相比,其中“ NodeID =节点2,值= 1”的行将被删除?
*----------*-------*
| Node ID | value |
*----------*-------*
| Node 1 | 0 |
| Node 3 | 0 |
| Node 2 | 0 |
*----------*-------*