Apache spark 使用不同Spark版本运行的历史服务器
我有一个用例,其中spark应用程序运行在一个spark版本中,事件数据发布到s3,并从相同的s3路径启动历史服务器,但使用不同的spark版本。这会导致任何问题吗?不,只要您可以使用该特定格式从S3存储桶读取数据,就不会导致任何问题。Spark版本大多兼容。只要你能弄清楚如何在特定的版本中工作,你就很好 编辑:Apache spark 使用不同Spark版本运行的历史服务器,apache-spark,Apache Spark,我有一个用例,其中spark应用程序运行在一个spark版本中,事件数据发布到s3,并从相同的s3路径启动历史服务器,但使用不同的spark版本。这会导致任何问题吗?不,只要您可以使用该特定格式从S3存储桶读取数据,就不会导致任何问题。Spark版本大多兼容。只要你能弄清楚如何在特定的版本中工作,你就很好 编辑: Spark将以您指定的数据格式写入S3存储桶。例如,在PC上,如果创建txt文件,任何计算机都可以打开该文件。同样,在S3上,一旦创建了拼花地板文件,任何Spark版本都可以打开它,但
Spark将以您指定的数据格式写入S3存储桶。例如,在PC上,如果创建txt文件,任何计算机都可以打开该文件。同样,在S3上,一旦创建了拼花地板文件,任何Spark版本都可以打开它,但API可能会有所不同。谢谢。我关心的是不同的spark版本会有不同的事件数据格式吗?您所说的事件数据格式是什么意思?提供一些例子?spark应用程序发布到S3的数据格式我不知道您是否得到了它。但数据的格式意味着拼花、csv和json。因此,如果您编写任何格式,它将很容易打开。见上面更新的答案。如果有帮助,请接受它作为答案