例如，我有以下DataFrame

+-----+----+------+
| idx | id | type |
+-----+----+------+
|   0 | 10 | a    |
|   1 | 10 | b    |
|   2 | 20 | b    |
|   3 | 30 | a    |
+-----+----+------+

我希望通过以下连续步骤获得这样的子集：

1. 获取id中的所有type a
   • 已过滤的id是 10 和 30
2. 获取id与上面相同的所有行
   • 已选择行0，1和3

结果子集DataFrame为：

+-----+----+------+
| idx | id | type |
+-----+----+------+
|   0 | 10 | a    |
|   1 | 10 | b    |
|   3 | 30 | a    |
+-----+----+------+

如何在pyspark中实现呢？预先感谢。

另一个后续问题，如何实现以下目标。

如果步骤更改为：

1. 获取id与上一行不同的所有行
   • 选择了行2，因为只有该行的id不是 10 或 30

结果DataFrame应该是：

+-----+----+------+
| idx | id | type |
+-----+----+------+
|   2 | 20 | b    |
+-----+----+------+