Amazon web services AWS房主混乱

Amazon web services AWS房主混乱,amazon-web-services,apache-spark,amazon-dynamodb,spark-streaming,amazon-kinesis,Amazon Web Services,Apache Spark,Amazon Dynamodb,Spark Streaming,Amazon Kinesis,一个非常简单的应用程序,运行在一个Spark集群上,有2个worker,使用带2个碎片的Kinesis 我查看了北弗吉尼亚州的(截图中的节目) 我时不时地启动和停止工作人员,我只是注意到,当2个碎片的出租人是同一个工作人员时,应用程序工作正常 但是,当我停止当前租赁所有者(10.0.7.63)时,将出现所有者切换,新所有者将是另一个工作者(10.0.7.62),然后我的应用程序提取数据,并且没有从Kinesis返回任何数据(但是,与Kinesis的连接仍然打开) 我的猜测是,当所有者切换到另一个

一个非常简单的应用程序,运行在一个Spark集群上,有2个worker,使用带2个碎片的Kinesis

我查看了北弗吉尼亚州的(截图中的节目)

我时不时地启动和停止工作人员,我只是注意到,当2个碎片的出租人是同一个工作人员时,应用程序工作正常

但是,当我停止当前租赁所有者(10.0.7.63)时,将出现所有者切换,新所有者将是另一个工作者(10.0.7.62),然后我的应用程序提取数据,并且没有从Kinesis返回任何数据(但是,与Kinesis的连接仍然打开)

我的猜测是,当所有者切换到另一个工作者时,新所有者上的检查点与Kinesis中剩下的内容不匹配,拉取数据将一无所获

谁能解释一下这里发生了什么事?我猜对了吗

非常感谢


首先,只是一个友好的提醒;使用主机名在应用程序配置中定义“workerID”;它将帮助您使用更友好的名称


其次,您确定shard-000接收数据吗?也许您在用户端设置了一个静态分区键,这会导致数据只堆叠在shard-001上?

首先,只是一个友好的提醒;使用主机名在应用程序配置中定义“workerID”;它将帮助您使用更友好的名称。其次,您确定shard-000接收数据吗?也许你在用户端设置了一个静态分区键,这会导致数据只堆叠在shard-001上?@az3哦,你说得对!我使用的是静态分区密钥!我自己忘了……谢谢你帮了我这么多:)@az3-建议把它作为答案:)我会把它改写成答案,谢谢!