Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 使用不同Spark版本运行的历史服务器_Apache Spark - Fatal编程技术网

Apache spark 使用不同Spark版本运行的历史服务器

Apache spark 使用不同Spark版本运行的历史服务器,apache-spark,Apache Spark,我有一个用例,其中spark应用程序运行在一个spark版本中,事件数据发布到s3,并从相同的s3路径启动历史服务器,但使用不同的spark版本。这会导致任何问题吗?不,只要您可以使用该特定格式从S3存储桶读取数据,就不会导致任何问题。Spark版本大多兼容。只要你能弄清楚如何在特定的版本中工作,你就很好 编辑: Spark将以您指定的数据格式写入S3存储桶。例如,在PC上,如果创建txt文件,任何计算机都可以打开该文件。同样,在S3上,一旦创建了拼花地板文件,任何Spark版本都可以打开它,但

我有一个用例,其中spark应用程序运行在一个spark版本中,事件数据发布到s3,并从相同的s3路径启动历史服务器,但使用不同的spark版本。这会导致任何问题吗?

不,只要您可以使用该特定格式从S3存储桶读取数据,就不会导致任何问题。Spark版本大多兼容。只要你能弄清楚如何在特定的版本中工作,你就很好

编辑:


Spark将以您指定的数据格式写入S3存储桶。例如,在PC上,如果创建txt文件,任何计算机都可以打开该文件。同样,在S3上,一旦创建了拼花地板文件,任何Spark版本都可以打开它,但API可能会有所不同。

谢谢。我关心的是不同的spark版本会有不同的事件数据格式吗?您所说的事件数据格式是什么意思?提供一些例子?spark应用程序发布到S3的数据格式我不知道您是否得到了它。但数据的格式意味着拼花、csv和json。因此,如果您编写任何格式,它将很容易打开。见上面更新的答案。如果有帮助,请接受它作为答案