Apache spark Kafka和apache Spark流式集群配置_Apache Spark_Apache Kafka_Spark Streaming

Apache spark Kafka和apache Spark流式集群配置

apache-spark apache-kafka

Apache spark Kafka和apache Spark流式集群配置,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,我需要在一组机器上运行一些Spark scala脚本。数据由在其中一台机器上运行的ApacheKafka生产者生成我已经在Apache Spark的conf目录中配置了slaves.template文件，其中包含集群中每个节点的URL 我使用以下指令运行脚本： /bin/spark submit--class com.unimi.lucaf.App/Users/lucaferari/scala-spark-script2/target/scala-spark-script-1.0.jar但它似

我需要在一组机器上运行一些Spark scala脚本。数据由在其中一台机器上运行的ApacheKafka生产者生成

我已经在Apache Spark的conf目录中配置了slaves.template文件，其中包含集群中每个节点的URL

我使用以下指令运行脚本：

/bin/spark submit--class com.unimi.lucaf.App/Users/lucaferari/scala-spark-script2/target/scala-spark-script-1.0.jar

但它似乎只在主节点上运行

我怎样才能修好它

谢谢

已解决

在文件夹

conf

中，将

slaves.template

文件重命名为

slaves

，并添加每个worker的URL

在文件夹

conf

中将

spark env.sh.template

文件重命名为

spark env.sh

，并添加以下行：

SPARK\u MASTER\u HOST=1.2.3.4

SPARK\u MASTER\u PORT=7077

SPARK\u MASTER\u WEBUI\u PORT=4444

SPARK\u WORKER\u WEBUI\u PORT=8081

在主计算机上的文件夹

sbin

中，我运行

start master.sh

脚本

在每个worker上，在文件夹

sbin

I中运行

start-slave.shspark://master-url:master-端口

<代码>主url和

主端口

必须与

spark env.sh

文件中配置的相同

在脚本的spark配置中，我还添加了主url（

val sparkConf=new sparkConf（）.setAppName（“SparkScript”）.setMaster（“spark://master-url:master-端口“

使用

/bin/spark submit--class com.unimi.lucaf.App/home/spark1/scala-spark-script2/target/scala-spark-script-1.0.jar--master运行脚本spark://master-url:master-端口--部署模式群集

您是否尝试添加

--master <master_url>

--master

选项？如果您在spark submit中忽略此选项，它将在本地运行

您还可以查看Spark关于Spark提交选项的文档：

您是否使用了

部署模式