Apache spark 未使用的火花工

我已经配置了独立的spark集群，它连接到Cassandra集群，带有一个主服务器、一个从服务器和一个Thrift服务器，用作Tableau应用程序的JDBC连接器。当我启动任何查询时，从机都会出现在workers列表中，但worker似乎没有用作执行器（使用了0个内核）。所有工作负载都由主执行器执行。同样在Thrift web控制台中，我观察到只有一个执行器处于活动状态

基本上，我希望spark cluster的两个执行器上的分布式工作负载能够实现更高的性能

从主日志：

2019-03-26 15:36:52信息大师：54-我被选为领袖！新的 状态：ALIVE 2019-03-26 15:37:00信息主机：54-注册工人 工作ip:37678，16核，61.8 GB RAM

从工作日志：

2019-03-26 15:37:00信息工作者：54-已成功注册到 主人spark://master-hostname:7077

我的spark-defaults.conf是：

spark.driver.memory=50g
spark.driver.maxResultSize=4g

spark.sql.thriftServer.incrementalCollect=false
spark.sql.shuffle.partition=17
spark.sql.autoBroadcastJoinThreshold=10485760
spark.sql.inMemoryColumnarStorage.compressed=true
spark.sql.inMemoryColumnarStorage.batchSize=10000

spark.cores.max=32
spark.executor.cores=16
spark.memory.offHeap.enabled=true
spark.memory.offHeap.size=1g

pic1工人

pic2执行人

---

非常感谢您的帮助。

如果spark没有在工人身上执行，则需要排除一些主要嫌疑犯

您是否在Web UI中看到工人

防火墙是否允许您发送实际工作负载并返回响应？有关更多详细信息，请参阅

从属服务器是否有足够的可用资源来接受作业？我注意到您需要16个内核，也许这比现有的多

是否需要容量？考虑并行提交多个作业（需要执行器，并且资源需求足够小），以确保它不仅仅是“巧合地”避免节点。继续，直到您发现它确实不适合您的主节点

如果所有这些都失败了，可能需要更多的上下文

• 您没有共享任何错误消息，是否真的没有任何错误
• 您使用的是哪种集群（Hadoop、Mesos？）

---

如果你没有得到足够的回应，请考虑更新问题。我个人觉得读起来有点难我建议至少有以下明确段落：1。你到底在做什么，你希望看到什么2。你看到的反而是3。感谢您的帮助，我确实编辑了我的问题，希望现在更清楚您是如何启动thrift server的？我使用start-thriftserver.sh:sbin/start-thriftserver.sh--packages datastax:spark cassandra connector:2.4.0-s_2.11我在workers列表中看到了worker，但在executors列表中没有看到。中间没有防火墙。我用更少的内核进行测试，但没有任何变化（16是每个虚拟机上的CPU数量）。至于4号。。。问题是，我们对thrift server启动查询，真正的情况是每个新查询都在等待前一个查询的完成。您的评论很有道理，我还阅读了spark尝试在尽可能少的节点上启动的文档。我们在主日志、从日志或旧日志中未发现任何错误。据我所知，集群是独立的，如果您是这样问的话。无论如何，谢谢你，我们一直在学习：）@stebetko根据你的截图，工人似乎根本没有正确连接。一般来说，这将帮助您搜索正确的解决方案，该线程看起来很有希望：