Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 如何正确重新启动kafka s3接收器连接?_Amazon S3_Apache Kafka_Apache Kafka Connect_Confluent Platform - Fatal编程技术网

Amazon s3 如何正确重新启动kafka s3接收器连接?

Amazon s3 如何正确重新启动kafka s3接收器连接?,amazon-s3,apache-kafka,apache-kafka-connect,confluent-platform,Amazon S3,Apache Kafka,Apache Kafka Connect,Confluent Platform,我从5月1日开始使用kafka s3接收器连接器(confluent软件包中的捆绑连接器)。在5月8日之前,一切正常。检查状态时,它会告知某些aws异常会使此连接器崩溃。这应该不是一个大问题,所以我想恢复它 我尝试了以下步骤: I POST/连接器/S3接收器/重新启动。然后我看到连接器处于运行模式,但任务仍然失败 然后我放入/connectors/s3sink/task/0/重新启动。好的,现在任务处于运行模式 但后来我跟踪日志,发现它开始重写旧数据,比如5月3日的数据。它把旧数据搞砸了 那么

我从5月1日开始使用kafka s3接收器连接器(confluent软件包中的捆绑连接器)。在5月8日之前,一切正常。检查状态时,它会告知某些aws异常会使此连接器崩溃。这应该不是一个大问题,所以我想恢复它

我尝试了以下步骤:

  • I POST/连接器/S3接收器/重新启动。然后我看到连接器处于运行模式,但任务仍然失败
  • 然后我放入/connectors/s3sink/task/0/重新启动。好的,现在任务处于运行模式
  • 但后来我跟踪日志,发现它开始重写旧数据,比如5月3日的数据。它把旧数据搞砸了

    那么,连接重启RESTAPI是否重置了偏移量?我想它会保存偏移量,然后从偏移量开始,它会失败


    以及如何正确重新启动失败的连接器任务?删除那些豆荚?(使用kubernetes),还是通过REST/task/0/restart?什么时候应该使用/connectors/s3sink/restart?

    /connector/:name/restart
    是一个工作领队上的滚动重启操作,需要以异步方式传播到所有工作服务器任务。因此,您需要确保领导工作者和所有其他人之间的网络连接

    /connector/:name/task/:num/restart
    将直接向该工作线程发送请求,重新启动线程


    重新启动不应重置偏移量,因为它们存储在中。如果有的话,任务无法将偏移提交回
    \uu consumer\u offset
    主题,但是您应该看到相关日志

    谢谢,原因是偏移保留时间,我在一天后重新启动它,不知道你的意思。我目前正在管理数十个S3连接,主题保留一周,不需要经常重新启动(除非我们出现错误)。在我们的例子中,答案中的第二个命令是抛出404。可能是什么问题?重新启动任务是与重新启动连接器进程相同,还是一件单独的事情?如果分开,请告诉我们如何重新启动连接器进程。谢谢大家!@OneCricketeer@Cyber您是否确实为任务值传递了一个数字?通过重新启动进程(例如,使用systemctl restart),可以在主机上重新启动进程,这将停止主机上的所有任务,而不仅仅是特定的任务connector@OneCricketeer谢谢你的回复。实际上,我们没有访问主机的权限。宿主实际上是库伯内特斯上的一个豆荚。但我们明白你的意思。我们会的。非常感谢。