Apache spark Apache Spark服务器安装需要Hadoop吗？不是自动安装的吗？

我的Mac上有我的开发环境。我有一个新安装的物理Ubuntu盒上的dev Spark服务器

在Mac上运行的代码中，我有：

1   SparkConf conf = new SparkConf().setAppName("myapp").setMaster("spark://10.0.100.120:7077");
2   JavaSparkContext javaSparkContext = new JavaSparkContext(conf);
3   javaSparkContext.setLogLevel("WARN");
4   SQLContext sqlContext = new SQLContext(javaSparkContext);
5
6   // Restaurant Data
7   df = sqlContext.read().option("dateFormat", "yyyy-mm-dd").json(source.getLocalStorage());

1） 澄清问题：这段代码在我的mac电脑上运行，连接到服务器，但第7行假定文件在我的mac电脑上，而不是服务器上，对吗

2） 在第7行，我得到一个例外：

16-07-10 22:20:04:143 DEBUG  - address: jgp-MacBook-Air.local/10.0.100.100 isLoopbackAddress: false, with host 10.0.100.100 jgp-MacBook-Air.local
16-07-10 22:20:04:240 INFO org.apache.spark.sql.execution.datasources.json.JSONRelation - Listing file:/Users/jgp/Documents/Data/restaurants-data.json on driver
16-07-10 22:20:04:288 DEBUG org.apache.hadoop.util.Shell - Failed to detect a valid hadoop home directory
java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.
    at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:225)
    at org.apache.hadoop.util.Shell.<clinit>(Shell.java:250)
    at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:76)
    at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.setInputPaths(FileInputFormat.java:447)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation.org$apache$spark$sql$execution$datasources$json$JSONRelation$$createBaseRdd(JSONRelation.scala:98)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation$$anonfun$4$$anonfun$apply$1.apply(JSONRelation.scala:115)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation$$anonfun$4$$anonfun$apply$1.apply(JSONRelation.scala:115)
    at scala.Option.getOrElse(Option.scala:120)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation$$anonfun$4.apply(JSONRelation.scala:115)
    at org.apache.spark.sql.execution.datasources.json.JSONRelation$$anonfun$4.apply(JSONRelation.scala:109)
    at scala.Option.getOrElse(Option.scala:120)

---

你下载了哪个版本的Spark？通常Spark与Hadoop捆绑在一起，但您可能下载了一个，而没有它。我实际上下载了捆绑的一个，并完成了安装，但我以前没有安装任何Hadoop。您下载了哪个版本的Spark？通常Spark与Hadoop捆绑在一起，但您可能下载了一个而没有它。实际上，我下载了捆绑的一个，并完成了安装，但我以前没有安装任何Hadoop。

java.io.IOException: HADOOP_HOME or hadoop.home.dir are not set.