Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 我们需要修改spark cluster工作人员的配置吗？_Apache Spark - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark 我们需要修改spark cluster工作人员的配置吗？

Apache spark 我们需要修改spark cluster工作人员的配置吗？

apache-spark

Apache spark 我们需要修改spark cluster工作人员的配置吗？,apache-spark,Apache Spark,我确实修改了spark cluster驱动程序上的配置，例如spark-defaults.conf和spark-env.sh两个文件。我们需要对工人做同样的事情吗。它似乎没有这样做，但我不确定 火花属性（Spark defaults.conf）： 否。属性是特定于应用程序的，而不是群集范围的，因此只能在Spark目录中设置 环境变量： 如果需要自定义设置，请选择“是”。环境变量是特定于机器的，不依赖于应用程序

我确实修改了spark cluster驱动程序上的配置，例如spark-defaults.conf和spark-env.sh两个文件。我们需要对工人做同样的事情吗。它似乎没有这样做，但我不确定

火花属性（
Spark defaults.conf
）：

否。属性是特定于应用程序的，而不是群集范围的，因此只能在Spark目录中设置

环境变量：

如果需要自定义设置，请选择“是”。环境变量是特定于机器的，不依赖于应用程序