Java 如何从Spark worker进程调用服务

我正在尝试实现的spark RDD计算工作相对复杂，包括对几个服务类的调用（这些服务类反过来调用外部服务）

但当我试图从内部的闭包（比如JavaSparkContext:：map或JavaSparkContext:：forEach）调用这些服务时，我得到了java.io.NotSerializableException

---

在Spark中实现计算（涉及外部服务调用）的正确方法是什么？

您能描述一下为什么要调用外部服务吗？我假设所涉及的类是不可序列化的，因此存在问题。一种解决方法是保存部分结果并ping服务以使用它们。但是，如果您需要增强结果，您可能希望使用广播或累加器让“其他人”知道有一些需要处理的内容。您能描述一下为什么要调用外部服务吗？我假设所涉及的类是不可序列化的，因此存在问题。一种解决方法是保存部分结果并ping服务以使用它们。然而，如果您需要增强结果，您可能希望使用广播或累加器让“其他人”知道有一些东西需要处理。