Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 更新Spark应用程序中使用的参考数据的最佳方法是什么？_Apache Spark_Push Notification_Amazon Sqs - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 更新Spark应用程序中使用的参考数据的最佳方法是什么？

Apache spark 更新Spark应用程序中使用的参考数据的最佳方法是什么？

apache-spark push-notification

Apache spark 更新Spark应用程序中使用的参考数据的最佳方法是什么？,apache-spark,push-notification,amazon-sqs,Apache Spark,Push Notification,Amazon Sqs,我有一个spark应用程序，它使用的参考数据不经常变化。此引用数据是从另一个REST端点获取的。目前，我每5分钟调用一次API以获取最新信息。我想在接到通知后立即得到最新消息。 即时变更时更新参考数据的最佳方式是什么 您可以将数据从rest端点泵入Kafka 在scala或java或spark consumer中保留一个小的轻量级用户代码 检查卡夫卡的最新消息 收到新邮件后，您可以提交spark作业 用你提供的信息很难说。参考数据存储在何处（以及以何种格式存储）？除了使用RESTAPI，还有其他

我有一个spark应用程序，它使用的参考数据不经常变化。此引用数据是从另一个REST端点获取的。目前，我每5分钟调用一次API以获取最新信息。我想在接到通知后立即得到最新消息。 即时变更时更新参考数据的最佳方式是什么

  • 您可以将数据从rest端点泵入Kafka

  • 在scala或java或spark consumer中保留一个小的轻量级用户代码 检查卡夫卡的最新消息

  • 收到新邮件后，您可以提交spark作业
    • 用你提供的信息很难说。参考数据存储在何处（以及以何种格式存储）？除了使用RESTAPI，还有其他方法访问它吗？引用数据是JSON格式的。除了RESTAPI之外，没有其他方法可以访问它