Apache spark 如何让AWS上的本地Spark写入S3

我已经在AWS EC2实例上安装了带有Hadoop 3.2的Spark 2.4.3。我一直在本地模式下使用spark（主要是pyspark），并取得了巨大成功。它是很好的，能够旋转一些小的东西，然后调整它的大小，当我需要权力，并做这一切都非常快。当我真的需要扩展时，我可以切换到EMR并去吃午饭。除了一个问题外，它工作得很顺利：我无法让本地spark可靠地写入S3（我一直在使用本地EBS空间）。这显然与文档中概述的关于S3作为文件系统的局限性的所有问题有关。然而，使用最新的hadoop，我对文档的理解是应该能够让它工作

注意，我知道另一篇文章，它提出了一个相关的问题；这里有一些指导，但我看不到解决办法

根据我对此处文档的最佳理解，我有以下设置（在不同位置设置）：

相关的一点是，我正在节省使用拼花地板。我看到之前的拼花地板保存有一些问题，但我在最新的文档中没有提到这一点。也许这就是问题所在

在任何情况下，这里是我得到的错误，这似乎表明了S3在尝试重命名临时文件夹时给出的错误类型。是否有一些正确的设置可以消除这种情况

java.io.IOException: Failed to rename S3AFileStatus{path=s3://my-research-lab-recognise/spark-testing/v2/nz/raw/bank/_temporary/0/_temporary/attempt_20190910022011_0004_m_000118_248/part-00118-c8f8259f-a727-4e19-8ee2-d6962020c819-c000.snappy.parquet; isDirectory=false; length=185052; replication=1; blocksize=33554432; modification_time=1568082036000; access_time=0; owner=brett; group=brett; permission=rw-rw-rw-; isSymlink=false; hasAcl=false; isEncrypted=false; isErasureCoded=false} isEmptyDirectory=FALSE to s3://my-research-lab-recognise/spark-testing/v2/nz/raw/bank/part-00118-c8f8259f-a727-4e19-8ee2-d6962020c819-c000.snappy.parquet
        at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.mergePaths(FileOutputCommitter.java:473)
        at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.mergePaths(FileOutputCommitter.java:486)
        at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:597)
        at org.apache.hadoop.mapreduce.lib.output.FileOutputCommitter.commitTask(FileOutputCommitter.java:560)
        at org.apache.spark.mapred.SparkHadoopMapRedUtil$.performCommit$1(SparkHadoopMapRedUtil.scala:50)
        at org.apache.spark.mapred.SparkHadoopMapRedUtil$.commitTask(SparkHadoopMapRedUtil.scala:77)
        at org.apache.spark.internal.io.HadoopMapReduceCommitProtocol.commitTask(HadoopMapReduceCommitProtocol.scala:225)
        at org.apache.spark.sql.execution.datasources.FileFormatDataWriter.commit(FileFormatDataWriter.scala:78)
        at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:247)
        at org.apache.spark.sql.execution.datasources.FileFormatWriter$$anonfun$org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask$3.apply(FileFormatWriter.scala:242)
        at org.apache.spark.util.Utils$.tryWithSafeFinallyAndFailureCallbacks(Utils.scala:1394)
        at org.apache.spark.sql.execution.datasources.FileFormatWriter$.org$apache$spark$sql$execution$datasources$FileFormatWriter$$executeTask(FileFormatWriter.scala:248)
        ... 10 more

---

我帮助@brettc进行了配置，我们找到了正确的配置

在$SPARK_HOME/conf/SPARK-defaults.conf下

如果查看上面最后两行配置，您会发现需要org.apache.spark.internal.io库，其中包含PathOutputCommitProtocol和BindingParquetOutputCommitter类。为此，您必须下载spark hadoop cloudjar（在我们的例子中，我们采用了2.3.2.3.1.0.6-1版），并将其放在$spark_HOME/jars/下

通过创建拼花文件，您可以轻松地验证您是否正在使用新提交者。_SUCCESS文件应该包含一个json，如下所示：

{
  "name" : "org.apache.hadoop.fs.s3a.commit.files.SuccessData/1",
  "timestamp" : 1574729145842,
  "date" : "Tue Nov 26 00:45:45 UTC 2019",
  "hostname" : "<hostname>",
  "committer" : "directory",
  "description" : "Task committer attempt_20191125234709_0000_m_000000_0",
  "metrics" : { [...] },
  "diagnostics" : { [...] },
  "filenames" : [...]
}

{
“名称”：“org.apache.hadoop.fs.s3a.commit.files.SuccessData/1”，
“时间戳”：1574729145842，
“日期”：“2019年11月26日星期二00:45:45 UTC”，
“主机名”：“，
“提交人”：“目录”，
“说明”：“任务提交者尝试\u 20191125234709\u 0000\u m\u000000\u 0”，
“指标”：{[…]}，
“诊断”：{[…]}，
“文件名”：[…]
}

上面的跟踪看起来像来自Hadoop的最上面的跟踪。是否还有其他例外情况，特别是与S3相关的例外情况？这不是使用新的提交程序，而是仍然使用rename（）提交工作。失败。@SteveLoughran我的设置有问题吗？什么需要改变？谢谢！那些额外的jar文件不明显。HDFS是让目录提交器工作的先决条件吗？

# Enable S3 file system to be recognise
spark.hadoop.fs.s3a.impl org.apache.hadoop.fs.s3a.S3AFileSystem

# Parameters to use new commiters
spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version 2
spark.hadoop.fs.s3a.committer.name directory
spark.hadoop.fs.s3a.committer.magic.enabled false
spark.hadoop.fs.s3a.commiter.staging.conflict-mode replace
spark.hadoop.fs.s3a.committer.staging.unique-filenames true
spark.hadoop.fs.s3a.committer.staging.abort.pending.uploads true
spark.hadoop.mapreduce.outputcommitter.factory.scheme.s3a org.apache.hadoop.fs.s3a.commit.S3ACommitterFactory
spark.sql.sources.commitProtocolClass org.apache.spark.internal.io.cloud.PathOutputCommitProtocol
spark.sql.parquet.output.committer.class     org.apache.spark.internal.io.cloud.BindingParquetOutputCommitter

{
  "name" : "org.apache.hadoop.fs.s3a.commit.files.SuccessData/1",
  "timestamp" : 1574729145842,
  "date" : "Tue Nov 26 00:45:45 UTC 2019",
  "hostname" : "<hostname>",
  "committer" : "directory",
  "description" : "Task committer attempt_20191125234709_0000_m_000000_0",
  "metrics" : { [...] },
  "diagnostics" : { [...] },
  "filenames" : [...]
}