Apache spark GoogleHadoop文件系统不能强制转换到hadoop文件系统?
原来的问题是。下载并设置后Apache spark GoogleHadoop文件系统不能强制转换到hadoop文件系统?,apache-spark,google-hadoop,Apache Spark,Google Hadoop,原来的问题是。下载并设置后 SPARK_HADOOP2_TARBALL_URI='gs://my_bucket/my-images/spark-1.4.1-bin-hadoop2.6.tgz' 使用bdutil部署很好;但是,当尝试调用SqlContext.parquetFile(“gs://my\u bucket/some\u data.parquet”)时,它会遇到以下异常: java.lang.ClassCastException: com.google.cloud.hadoop.fs
SPARK_HADOOP2_TARBALL_URI='gs://my_bucket/my-images/spark-1.4.1-bin-hadoop2.6.tgz'
使用bdutil部署很好;但是,当尝试调用SqlContext.parquetFile(“gs://my\u bucket/some\u data.parquet”)时,它会遇到以下异常:
java.lang.ClassCastException: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem cannot be cast to org.apache.hadoop.fs.FileSystem
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2595)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:91)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2630)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2612)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:370)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:169)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:354)
at org.apache.hadoop.fs.Path.getFileSystem(Path.java:296)
at org.apache.hadoop.hive.metastore.Warehouse.getFs(Warehouse.java:112)
at org.apache.hadoop.hive.metastore.Warehouse.getDnsPath(Warehouse.java:144)
at org.apache.hadoop.hive.metastore.Warehouse.getWhRoot(Warehouse.java:159)
让我困惑的是Google hadoop文件系统应该是org.apache.hadoop.fs.FileSystem的一个子类,我甚至在同一个spark shell实例中进行了验证:
scala> var gfs = new com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem()
gfs: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem = com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem@46f105c
scala> gfs.isInstanceOf[org.apache.hadoop.fs.FileSystem]
res3: Boolean = true
scala> gfs.asInstanceOf[org.apache.hadoop.fs.FileSystem]
res4: org.apache.hadoop.fs.FileSystem = com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem@46f105c
我错过了什么吗,有什么解决办法吗?提前谢谢
更新:这是我的bdutil(版本1.3.1)部署设置:
import_env hadoop2_env.sh
import_env extensions/spark/spark_env.sh
CONFIGBUCKET="my_conf_bucket"
PROJECT="my_proj"
GCE_IMAGE='debian-7-backports'
GCE_MACHINE_TYPE='n1-highmem-4'
GCE_ZONE='us-central1-f'
GCE_NETWORK='my-network'
GCE_MASTER_MACHINE_TYPE='n1-standard-2'
PREEMPTIBLE_FRACTION=1.0
PREFIX='my-hadoop'
NUM_WORKERS=8
USE_ATTACHED_PDS=true
WORKER_ATTACHED_PDS_SIZE_GB=200
MASTER_ATTACHED_PD_SIZE_GB=200
HADOOP_TARBALL_URI="gs://hadoop-dist/hadoop-2.6.0.tar.gz"
SPARK_MODE="yarn-client"
SPARK_HADOOP2_TARBALL_URI='gs://my_conf_bucket/my-images/spark-1.4.1-bin-hadoop2.6.tgz'
简短回答 事实上,它与IsolatedClient Loader有关,我们已经找到了根本原因并验证了修复方法。我申请跟踪这个问题,并通过一个简单的修复成功地用我的叉子构建了一个干净的Spark tarball: 有几个短期选择:
--default_fs=HDFS
);您仍然可以在作业中直接指定gs://
路径,只是HDFS将用于中间数据和暂存文件。不过,在这种模式下使用原始配置单元存在一些小的不兼容性val sqlContext=new org.apache.spark.sql.sqlContext(sc)
,而不是HiveContextgit克隆https://github.com/dennishuo/spark
并运行/make-distribution.sh--命名我的定制spark--tgz--跳过java test-Pyarn-Phadoop-2.6-Dhadoop.version=2.6.0-Phive-Phive-thriftserver
以获得一个新的tarball,您可以在bdutil的spark_env.sh
中指定fs.default.name
和fs.defaultFS
设置为gs://
路径时才会显示,无论尝试从parquetFile(“gs://…”)还是parquetFile(“hdfs://...)
,当fs.default.name
和fs.defaultFS
设置为HDFS路径时,从HDFS和GCS加载数据都可以正常工作。这也是Spark 1.4+目前特有的,在Spark 1.3.1或更早版本中不存在
回归似乎已经被引入其中,实际上修复了先前相关的类加载问题。虽然修复程序本身对于正常情况是正确的,但是有一种方法用于确定要使用哪个类加载器,并与前面提到的commit交互,以破坏GoogleHadoop文件系统的类加载
该文件中的以下行将com.google.*
下的所有内容都作为“共享类”包含,因为Guava和protobuf依赖项确实作为共享库加载,但不幸的是,在这种情况下,GoogleHadoop文件系统应该作为“hive类”加载,就像org.apache.hadoop.hdfs.DistributedFileSystem
。我们只是碰巧共享了com.google.*
包名称空间
protected def isSharedClass(name: String): Boolean =
name.contains("slf4j") ||
name.contains("log4j") ||
name.startsWith("org.apache.spark.") ||
name.startsWith("scala.") ||
name.startsWith("com.google") ||
name.startsWith("java.lang.") ||
name.startsWith("java.net") ||
sharedPrefixes.exists(name.startsWith)
...
/** The classloader that is used to load an isolated version of Hive. */
protected val classLoader: ClassLoader = new URLClassLoader(allJars, rootClassLoader) {
override def loadClass(name: String, resolve: Boolean): Class[_] = {
val loaded = findLoadedClass(name)
if (loaded == null) doLoadClass(name, resolve) else loaded
}
def doLoadClass(name: String, resolve: Boolean): Class[_] = {
...
} else if (!isSharedClass(name)) {
logDebug(s"hive class: $name - ${getResource(classToPath(name))}")
super.loadClass(name, resolve)
} else {
// For shared classes, we delegate to baseClassLoader.
logDebug(s"shared class: $name")
baseClassLoader.loadClass(name)
}
}
}
这可以通过在${SPARK_INSTALL}/conf/log4j.properties
中添加以下行来验证:
log4j.logger.org.apache.spark.sql.hive.client=DEBUG
输出结果显示:
...
15/07/20 20:59:14 DEBUG IsolatedClientLoader: hive class: org.apache.hadoop.hdfs.DistributedFileSystem - jar:file:/home/hadoop/spark-install/lib/spark-assembly-1.4.1-hadoop2.6.0.jar!/org/apache/hadoop/hdfs/DistributedFileSystem.class
...
15/07/20 20:59:14 DEBUG IsolatedClientLoader: shared class: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem
java.lang.RuntimeException: java.lang.ClassCastException: com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem cannot be cast to org.apache.hadoop.fs.FileSystem
在我的测试中,似乎我至少可以加载一个拼花地板文件,甚至可以在生成的数据帧上调用“take(10)”。调用sqlContext.parquetFile(“…”)时,您真的立即看到了异常吗?还是在数据帧上的某个特定转换操作中?谢谢你的回答,丹尼斯。我做的唯一一件事是sqlContext.parquetFile(“…”),它失败了,出现了错误;我还重新部署了同样的错误。有没有关于如何调查可能导致这种情况的建议?我已经为bdutil添加了详细信息设置。再次感谢!您使用的是哪个bdutil版本?bdutil版本是1.3.1我尝试了几个不同的bdutil版本和不同的Spark版本,到目前为止,我一直能够加载我的拼花文件。您是否有机会分享正在运行的scala命令、调用标志等的一些可复制示例?您还可以与gcp hadoop共享详细信息-contact@google.com如果方便的话,可以更直接地与谷歌工程师讨论