Scala Spark SQL“；作业“中未指定输入路径”；，但我们可以打印模式_Scala_Apache Spark_Apache Spark Sql

Scala Spark SQL“；作业“中未指定输入路径”；，但我们可以打印模式

scala apache-spark

Scala Spark SQL“；作业“中未指定输入路径”；，但我们可以打印模式,scala,apache-spark,apache-spark-sql,Scala,Apache Spark,Apache Spark Sql,我可以读取Json和printSchema，但运行任何操作都会失败（作业中未指定输入路径）根 |--ContributorSID:数组（nullable=true） ||--元素：字符串（containsnall=true） |--createdAt:string（nullable=true）文件夹结构如下所示：推特推特1444576960000 _成功第00000部分 tweets_144457707000 _成功第00000部分注: 我使用的是Spark和S

我可以读取Json和

printSchema

，但运行任何操作都会失败（作业中未指定输入路径）

根
|--ContributorSID:数组（nullable=true）
||--元素：字符串（containsnall=true）
|--createdAt:string（nullable=true）

文件夹结构如下所示：

推特
- 推特1444576960000
  - _成功
  - 第00000部分
- tweets_144457707000
  - _成功
  - 第00000部分

注:

我使用的是Spark和Spark SQL版本1.5.0
执行器在同一台机器上是本地[*]
我尝试用绝对路径替换文件路径。同样的错误
Json推文是使用

好的，通过指定以下路径解决问题

val input = sqlCtx.jsonFile("../data/tweets/tweets_*/*")

如果您想尝试递归地获取目录，似乎有一个解决方案。

input.first
java.io.IOException: No input paths specified in job

val input = sqlCtx.jsonFile("../data/tweets/tweets_*/*")