Amazon web services s3 bucket中的Spark结构化流媒体和数据_Amazon Web Services_Apache Spark_Amazon S3_Streaming_Spark Streaming

Amazon web services s3 bucket中的Spark结构化流媒体和数据

amazon-web-services apache-spark amazon-s3 streaming

Amazon web services s3 bucket中的Spark结构化流媒体和数据,amazon-web-services,apache-spark,amazon-s3,streaming,spark-streaming,Amazon Web Services,Apache Spark,Amazon S3,Streaming,Spark Streaming,我们正在使用Kafka、Spark Structured streaming、Hive和s3开发流媒体应用程序我的经理说用s3代替蜂巢。但我的问题/担忧是s3位于网络上的AWS云上我的应用程序数据从Kafka流到spark层，再到运行的业务逻辑我们假设从配置单元写入和读取的中间数据如果我把它放在s3上，我需要解决或遇到什么样的问题如何处理延迟我是否需要遵循行业标准的最佳实践如果您遇到…，请分享更多详细信息或链接。慢就是到这里来慢就是到这里来

我们正在使用Kafka、Spark Structured streaming、Hive和s3开发流媒体应用程序

我的经理说用s3代替蜂巢。但我的问题/担忧是s3位于网络上的AWS云上

我的应用程序数据从Kafka流到spark层，再到运行的业务逻辑

我们假设从配置单元写入和读取的中间数据

如果我把它放在s3上，我需要解决或遇到什么样的问题

如何处理延迟

我是否需要遵循行业标准的最佳实践

如果您遇到…，请分享更多详细信息或链接。

慢就是到这里来慢就是到这里来