Apache spark Spark streaming自定义接收器内存问题
我有一个带有Spark 1.6的10节点集群，一个主节点和9个工作节点，我正在运行一个带有自定义接收器的流式作业 接收器是在其中一个节点上随机创建的，其内存使用率很高 执行器上的计算也会消耗大量内存，并且通常会删除节点上带有接收器的执行器 在下图中，您可以看到当执行器和接收器的组合内存使用率过高时，如何删除执行器 我想知道我是否可以在没有执行器的节点上实例化接收器，这样它们的内存使用组合不会导致删除执行器Apache spark Spark streaming自定义接收器内存问题,apache-spark,out-of-memory,spark-streaming,Apache Spark,Out Of Memory,Spark Streaming,我有一个带有Spark 1.6的10节点集群，一个主节点和9个工作节点，我正在运行一个带有自定义接收器的流式作业 接收器是在其中一个节点上随机创建的，其内存使用率很高 执行器上的计算也会消耗大量内存，并且通常会删除节点上带有接收器的执行器 在下图中，您可以看到当执行器和接收器的组合内存使用率过高时，如何删除执行器 我想知道我是否可以在没有执行器的节点上实例化接收器，这样它们的内存使用组合不会导致删除执行器