Apache spark 将更改部署到Spark Streaming到生产的过程
要在Spark Streaming中对生产进行一些更改而不停机，需要遵循什么流程？如果您正在寻找升级应用程序代码，请参阅Spark Streaming文档 如果正在运行Spark流媒体应用程序，则升级应用程序代码 需要用新的应用程序代码升级，那么有两个 可能的机制 升级后的Spark Streaming应用程序已启动并在中运行 与现有应用程序并行。一旦新的一个（接收 与旧数据相同的数据）已预热，并准备就绪 时间，旧的可以被打倒。请注意，这是可以做到的 对于支持将数据发送到两个目标的数据源 （即早期和升级的应用程序） 现有应用程序将正常关闭（请参阅 的StreamingContext.stop（…）或JavaStreamingContext.stop（…） 正常关机选项），确保接收到的数据正确无误 关机前完全处理。然后升级应用程序 可以启动，这将从同一点开始处理 先前的应用程序停止了。请注意，这只能通过 支持源端缓冲的输入源（如Kafka和 Flume）作为数据需要在上一个应用程序运行时进行缓冲 关闭，升级的应用程序尚未启动。并从中重新启动 无法完成升级前代码的早期检查点信息。这个 检查点信息本质上包含序列化的 Scala/Java/Python对象，并尝试使用新， 修改类可能会导致错误。在这种情况下，启动 使用不同的检查点目录升级应用程序，或删除 上一个检查点目录Apache spark 将更改部署到Spark Streaming到生产的过程,apache-spark,spark-streaming,Apache Spark,Spark Streaming,要在Spark Streaming中对生产进行一些更改而不停机，需要遵循什么流程？如果您正在寻找升级应用程序代码，请参阅Spark Streaming文档 如果正在运行Spark流媒体应用程序，则升级应用程序代码 需要用新的应用程序代码升级，那么有两个 可能的机制 升级后的Spark Streaming应用程序已启动并在中运行 与现有应用程序并行。一旦新的一个（接收 与旧数据相同的数据）已预热，并准备就绪 时间，旧的可以被打倒。请注意，这是可以做到的 对于支持将数据发送到两个目标的数据源 （即早
对于带有检查点的结构化流媒体，您将如何做到这一点？看起来第二个作业将出错，因为第一个作业已写入checkpoint@techalicious您必须更改新版本的检查点路径