Apache spark 是否可以广播Spark上下文?
我在一个场景中工作,我想广播Spark上下文,并在另一端获得它。还有其他可能吗?如果没有,有人能解释原因吗 非常感谢您的帮助Apache spark 是否可以广播Spark上下文?,apache-spark,Apache Spark,我在一个场景中工作,我想广播Spark上下文,并在另一端获得它。还有其他可能吗?如果没有,有人能解释原因吗 非常感谢您的帮助 final JavaStreamingContext jsc=new JavaStreamingContext(conf, 持续时间,毫秒(2000); 最终JavaSparkContext上下文=jsc.sc(); 最终广播broadcastedFieldNames=上下文。广播(上下文) 以下是我想要实现的目标。 1.我们有一个来自卡夫卡的XML事件。 2.在xml事
final JavaStreamingContext jsc=new JavaStreamingContext(conf,
持续时间,毫秒(2000);
最终JavaSparkContext上下文=jsc.sc();
最终广播broadcastedFieldNames=上下文。广播(上下文)代码>
以下是我想要实现的目标。
1.我们有一个来自卡夫卡的XML事件。
2.在xml事件中,我们有一个HDFS文件路径(HDFS:localhost//test1.txt)
3.我们正在使用SparkStreamContext创建一个数据流并获取xml。我们使用Map函数读取每个xml中的文件路径。
4.现在我们需要从HDFS(HDFS:localhost//test1.txt)读取该文件。
要读取此文件,我需要sc.readfile,因此我尝试将spark上下文广播给executor,以便并行读取输入文件。
目前,我们正在使用HDFS读取文件,但它不会并行读取,对吗?您不能使用apache spark删除行,但如果您使用spark作为olap引擎来运行SQL查询,您还需要检查apache孵化器数据,它为您提供更新删除记录的支持,并且它构建在spark之上,这是不可能的。您不能在执行器端启动驱动程序操作。也许你的算法根本上有问题。请解释您试图实现的目标。您可以从apache spark中删除行,但如果您使用spark作为olap引擎来运行SQL查询,您还需要检查apache孵化器数据,它为您提供更新删除记录的支持,并且它构建在sparkHi家伙之上,谢谢您的回复。以下是我想要实现的目标。1.我们有一个来自Kafka 2的XML事件。在xml事件中,我们有一个HDFS文件路径(HDFS:localhost//test1.txt)3。我们正在使用SparkStreamContext创建一个数据流并获取xml。我们使用Map函数读取每个xml中的文件路径。4.现在我们需要从HDFS(HDFS:localhost//test1.txt)读取该文件。要读取此文件,我需要sc.readfile,所以我尝试将spark上下文广播给executor,以便并行读取输入文件。目前我们使用的是HDFS读取文件,但不会并行读取,对吗?