Hadoop Spark streaming和Spark应用程序能否在同一纱线簇内运行？

大家好，新年快乐

我正在用ApacheSpark、HDFS和Elastichsearch构建一个lambda体系结构。 在下图中，我想做的是：

到目前为止，我已经用java为spark流媒体和spark应用程序编写了源代码。我在spark文档中读到spark可以在Mesos或纱线集群中运行。如图所示，我已经有了一个hadoop集群。可以在同一个hadoop集群中运行spark streaming和spark应用程序吗？如果是，是否需要进行任何特定配置（例如节点数、RAM…）。或者我必须添加专门用于spark流的hadoop集群吗

我希望我的解释清楚

---

亚西尔

这是可能的。您向同一纱线集群提交流式和批量应用程序。但在这两个作业之间共享集群资源可能有点棘手（据我所知）

---

因此，我建议您在提交申请时查看。当您想要维护多个Spark上下文时，Spark jobserver使您的生活更加轻松。两个应用程序所需的所有配置都将在一个位置。

您不需要为运行spark streaming构建单独的群集

将

conf/spark defaults.conf

文件中的

spark.master

属性更改为

warn client

或

warn cluster

。如有规定，提交的spark申请将由纱线应用主管处理，并由节点管理员执行

另外，修改芯线和存储器的这些特性，使火花与纱线对齐

在

spark defaults.conf中

spark.executors.memory
spark.executors.cores
spark.executors.instances

在
warn site.xml中

yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores

否则可能会导致死锁或集群资源利用不当

在纱线上运行Spark时，请参阅群集的资源管理。
是的，您可以。请检查：