Apache spark 使用表达式按计数分组

我有一个spark数据框，其中两列可以表示id:

第一个id

，

第二个id

我想计算分组所在的行数：

a.first_id = b.first_id OR a.second_id = b.second_id

我找不到这样的例子，我知道问题在于分组键不是确定性的（两个不相关的行可能会在同一个组中结束，因为有第三行连接它们）。我的问题是：

从数学上讲，解决这个问题的算法是什么？（图形查询？还有别的吗？）

是否有一个spark实现

---

可能对你有帮助。很好的参考！！！谢谢