Apache spark 如何重写代码以避免在Spark 1.3.1中使用SqlContext.read（）？_Apache Spark_Apache Spark Sql

Apache spark 如何重写代码以避免在Spark 1.3.1中使用SqlContext.read（）？

apache-spark

Apache spark 如何重写代码以避免在Spark 1.3.1中使用SqlContext.read（）？,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我们的项目过去是在Spark 1.4.0上开发的，现在我们想将它迁移到另一个集群，它需要一个版本为1.3.1的特殊Spark JAR。当我们更换JAR时，发现以下代码不再工作： val dataFrame = sqlContext.read.format("com.databricks.spark.csv") .options(getOptionProperties(request.Options)) .schema(schema) .load(request.FilePath)

我们的项目过去是在Spark 1.4.0上开发的，现在我们想将它迁移到另一个集群，它需要一个版本为1.3.1的特殊Spark JAR。当我们更换JAR时，发现以下代码不再工作：

val dataFrame = sqlContext.read.format("com.databricks.spark.csv")
  .options(getOptionProperties(request.Options))
  .schema(schema)
  .load(request.FilePath)

原来

read

只有在1.4之后才可用。那么，我如何重写代码以获得相等的结果呢

提前谢谢

要将CSV读入数据帧，您需要此第三方软件包

从1.4.0开始，Spark 1.3上的文档非常清晰

加载（字符串源、StructType架构、java.util.Map选项）

不赞成。自1.4.0起，替换为

read（）.format（source）.schema（schema）.options（options）.load（）

所以我想你可以用

load("com.databricks.spark.csv", schema, getOptionProperties(request.Options))

为了获得相同的结果。

谢谢，我这样做了，并在

选项中添加了“path”->request.FilePath
，效果很好。