Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/django/21.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何创建独立于Django服务器的kafka使用者_Django_Python 3.x_Multithreading_Apache Kafka - Fatal编程技术网

如何创建独立于Django服务器的kafka使用者

如何创建独立于Django服务器的kafka使用者,django,python-3.x,multithreading,apache-kafka,Django,Python 3.x,Multithreading,Apache Kafka,我对Python相当陌生。我有一个基于django的web应用程序,我正在使用Kafka执行一些任务。 我正在使用合流卡夫卡包装器与卡夫卡经纪人进行通信 因此,一旦在kafka代理上创建了一个主题,我将分配一个使用者来订阅此进程,为了实现此非阻塞,我将使用多处理模块,以便使用者在单独的线程上运行,而不是阻塞主应用程序线程 但是,我不确定,如果我的服务器关闭会发生什么?即使服务器未运行,进程是否仍会像cronjobs一样运行 如果没有,请有人建议我如何触发我的消费者,使其独立于我的django服务

我对Python相当陌生。我有一个基于django的web应用程序,我正在使用Kafka执行一些任务。 我正在使用
合流卡夫卡
包装器与卡夫卡经纪人进行通信

因此,一旦在kafka代理上创建了一个主题,我将分配一个使用者来订阅此进程,为了实现此非阻塞,我将使用
多处理
模块,以便使用者在单独的线程上运行,而不是阻塞主应用程序线程

但是,我不确定,如果我的服务器关闭会发生什么?即使服务器未运行,进程是否仍会像cronjobs一样运行


如果没有,请有人建议我如何触发我的消费者,使其独立于我的django服务器?

如果您需要您的web服务器从Kafka实际获取数据,它们需要一起运行

您可能不希望使用者在后台主动运行(作为一个单独的进程,而不是一个线程),因为这样您就不能有效地处理消息


根据数据的不同,您可以在与Django相同的机器上使用Kafka Connect将Kafka事件写入数据库,然后Django将查询数据库

我应该如何并行运行它,您是说单独的Django应用程序?Kafka Connect是一个Java应用程序。不是Django。就像我说的,这取决于数据是什么,以及你是否关心看到所有的事件