Scala 如何"；强迫；在Spark中的HDFS上写入csv/拼花时显示的CRC文件

我似乎与互联网上的其他人有着相反的问题——任何关于这个主题的搜索都会引发成千上万的问题，比如在使用Spark进行书写时如何抑制CRC文件

---

在集群上使用Spark并将内容写入HDFS时，我看不到本地系统上通常看到的

.crc

文件。你知道如何“强制”它们出现吗？

你可以尝试下面的方法，看看.crc文件是否出现在hdfs文件夹中

val customConf = spark.sparkContext.hadoopConfiguration
val fileSystemObject = org.apache.hadoop.fs.FileSystem.get(customConf)
fileSystemObject.setVerifyChecksum(true)

---

不幸的是没有变化。。。可能是我在键入

hdfs dfs-ls

时没有看到它们，并且应该包括

-ls

的选项吗？fs.setWriteChecksum（true）fs.setVerifyChecksum（true）您可以尝试将这两个配置都设置为true并查看吗？另外，尝试使用hdfs dfs-ls-la吗？仍然没有运气

-la

不是有效的

hdfs dfs-ls

选项我认为它们（默认情况下）不会出现在hdfs上，因为文件系统内置了该功能。