Apache spark 可以从任务中获取并使用JavaSparkContext吗？

我遇到了一种情况，我想在Spark和/或Spark流媒体管道（Java）中进行“查找”。查找有点复杂，但幸运的是，我有一些可以重用的现有Spark管道（可能是数据帧）

对于每个传入的记录，我想从任务中潜在地启动一个spark作业，以获取必要的信息来装饰它

考虑到性能的影响，这会是一个好主意吗

如果不考虑性能影响，这可能吗

可以从任务中获取并使用JavaSparkContext吗

否。spark上下文仅在驱动程序上有效，spark将阻止其序列化。因此，不可能在任务中使用Spark上下文

对于每个传入的记录，我想潜在地启动一个火花工作 从任务中获取必要的信息来装饰它。 考虑到性能方面的影响，这会是一个好的选择吗 想法

如果没有更多细节，我的答案是：可能不是个好主意

如果不考虑性能影响，这可能吗

是的，可能是将基本集合带到驱动程序（

collect

）并对其进行迭代。如果该集合不适合驾驶员的记忆，请在前面指出

如果需要处理每个记录，请考虑使用“装饰”数据集执行某种形式的<代码>连接<代码>，这将是1个大作业而不是小的作业。