Spark中自定义Java代码和Python代码之间的交互

我们有Java库，可以在Spark环境中执行某些操作（主要是智能地查询后端）。我想使用它们的功能，但用Python开发。是否有一种标准的方法来实现这一点（“this”可能意味着：在Java和Python之间传递RDD和活动的SparkContext）

---

我已经知道PySpark用来公开SparkContext，所以我想我可以或多或少地从Python运行我想要的所有Java代码。然而，看看Py4J接口的Python包装器，似乎有很多地方出错了，而一个更复杂的路径似乎更可取。

因为PySpark也使用Py4J与Java通信，所以Py4J是一个不错的开始。您可以在这里添加一些示例代码，以防遇到任何问题。