Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark “与”的区别是什么；“火花壳”；及；火花壳——主火花壳=局部火花壳；？_Apache Spark - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark “与”的区别是什么；“火花壳”；及；火花壳——主火花壳=局部火花壳；？

Apache spark “与”的区别是什么；“火花壳”；及；火花壳——主火花壳=局部火花壳；？

apache-spark

Apache spark “与”的区别是什么；“火花壳”；及；火花壳——主火花壳=局部火花壳；？,apache-spark,Apache Spark,如果我使用以下两个命令打开Spark，有人能帮助我理解其中的区别吗 火花壳 spark shell--master=local 当您启动spark shell而不使用--master选项时，本地机器的所有内核都将被利用，正如您在日志中看到的，它以以下消息启动 Spark context available as 'sc' (master = local[*], app id = local-1519264959885). Spark session available as 'spark'.

如果我使用以下两个命令打开Spark，有人能帮助我理解其中的区别吗

  • 火花壳
  • spark shell--master=local
    • 当您启动spark shell而不使用
    --master
    选项时，本地机器的所有内核都将被利用，正如您在日志中看到的，它以以下消息启动

    Spark context available as 'sc' (master = local[*], app id = local-1519264959885).
Spark session available as 'spark'.
    但是，当您开始使用
    --master local
    选项时，将只开始使用本地机器的一个内核，如您在日志中所看到的

    Spark context available as 'sc' (master = local, app id = local-1519265031949).
Spark session available as 'spark'.
    当您启动spark shell而不使用
    --master
    选项时，本地机器的所有内核都将被利用，正如您在日志中看到的，它以以下消息启动

    Spark context available as 'sc' (master = local[*], app id = local-1519264959885).
Spark session available as 'spark'.
    但是，当您开始使用
    --master local
    选项时，将只开始使用本地机器的一个内核，如您在日志中所看到的

    Spark context available as 'sc' (master = local, app id = local-1519265031949).
Spark session available as 'spark'.

    spark shell
    将使用机器中的所有内核作为本地[*]，而
    spark shell--master=local
    将只使用本地机器的一个内核。非常感谢Ramesh！请参阅下面我的答案：）
    spark shell
    将使用您机器中的所有内核作为本地[*]，而
    spark shell--master=local
    将只使用您本地机器的一个内核。非常感谢Ramesh！请看下面我的回答：）