Apache spark spark jms接收器加载仅使一个消费者忙
我有一个用于spark的JMS定制接收器，以及由第三方发布的数据。目前，我只能看到一个消费者在运行，这导致使用了一个spark executor，因为我在一段时间后遇到了GC over head错误 如何创建多个使用者，以便多个执行者可以处理数据 我尝试在读取数据流后重新分区，但生产者的写入速度要快一些，因此在某个时间点之后，在单个消费者处收集更多记录，并抛出GC开销内存错误Apache spark spark jms接收器加载仅使一个消费者忙,apache-spark,jms,spark-streaming,partitioning,Apache Spark,Jms,Spark Streaming,Partitioning,我有一个用于spark的JMS定制接收器，以及由第三方发布的数据。目前，我只能看到一个消费者在运行，这导致使用了一个spark executor，因为我在一段时间后遇到了GC over head错误 如何创建多个使用者，以便多个执行者可以处理数据 我尝试在读取数据流后重新分区，但生产者的写入速度要快一些，因此在某个时间点之后，在单个消费者处收集更多记录，并抛出GC开销内存错误