Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 是否可以广播Spark上下文?_Apache Spark - Fatal编程技术网

Apache spark 是否可以广播Spark上下文?

Apache spark 是否可以广播Spark上下文?,apache-spark,Apache Spark,我在一个场景中工作,我想广播Spark上下文,并在另一端获得它。还有其他可能吗?如果没有,有人能解释原因吗 非常感谢您的帮助 final JavaStreamingContext jsc=new JavaStreamingContext(conf, 持续时间,毫秒(2000); 最终JavaSparkContext上下文=jsc.sc(); 最终广播broadcastedFieldNames=上下文。广播(上下文) 以下是我想要实现的目标。 1.我们有一个来自卡夫卡的XML事件。 2.在xml事

我在一个场景中工作,我想广播Spark上下文,并在另一端获得它。还有其他可能吗?如果没有,有人能解释原因吗

非常感谢您的帮助

final JavaStreamingContext jsc=new JavaStreamingContext(conf,
持续时间,毫秒(2000);
最终JavaSparkContext上下文=jsc.sc();
最终广播broadcastedFieldNames=上下文。广播(上下文)

以下是我想要实现的目标。 1.我们有一个来自卡夫卡的XML事件。 2.在xml事件中,我们有一个HDFS文件路径(HDFS:localhost//test1.txt) 3.我们正在使用SparkStreamContext创建一个数据流并获取xml。我们使用Map函数读取每个xml中的文件路径。 4.现在我们需要从HDFS(HDFS:localhost//test1.txt)读取该文件。 要读取此文件,我需要sc.readfile,因此我尝试将spark上下文广播给executor,以便并行读取输入文件。
目前,我们正在使用HDFS读取文件,但它不会并行读取,对吗?

您不能使用apache spark删除行,但如果您使用spark作为olap引擎来运行SQL查询,您还需要检查apache孵化器数据,它为您提供更新删除记录的支持,并且它构建在spark之上,这是不可能的。您不能在执行器端启动驱动程序操作。也许你的算法根本上有问题。请解释您试图实现的目标。您可以从apache spark中删除行,但如果您使用spark作为olap引擎来运行SQL查询,您还需要检查apache孵化器数据,它为您提供更新删除记录的支持,并且它构建在sparkHi家伙之上,谢谢您的回复。以下是我想要实现的目标。1.我们有一个来自Kafka 2的XML事件。在xml事件中,我们有一个HDFS文件路径(HDFS:localhost//test1.txt)3。我们正在使用SparkStreamContext创建一个数据流并获取xml。我们使用Map函数读取每个xml中的文件路径。4.现在我们需要从HDFS(HDFS:localhost//test1.txt)读取该文件。要读取此文件,我需要sc.readfile,所以我尝试将spark上下文广播给executor,以便并行读取输入文件。目前我们使用的是HDFS读取文件,但不会并行读取,对吗?