Apache spark 通过RDD获取路径读取中的文件数
我正在读RDD中的路径。我知道在java中有很多方法可以读取文件夹中的文件数。但是有没有办法获取该文件中存在的文件数。使用spark计算目录中文件数的快速方法是使用binaryFiles。此函数为每个文件创建一条记录，并将每个文件名映射到数据流 //这将只计算文件，而不读取它们 sc.binaryFilespath.countApache spark 通过RDD获取路径读取中的文件数,apache-spark,rdd,Apache Spark,Rdd,我正在读RDD中的路径。我知道在java中有很多方法可以读取文件夹中的文件数。但是有没有办法获取该文件中存在的文件数。使用spark计算目录中文件数的快速方法是使用binaryFiles。此函数为每个文件创建一条记录，并将每个文件名映射到数据流 //这将只计算文件，而不读取它们 sc.binaryFilespath.count 如果您想阅读文件内容，请查看wholeTextFiles。能否发布您正在尝试的代码，以便更清晰地理解？
如果您想阅读文件内容，请查看wholeTextFiles。能否发布您正在尝试的代码，以便更清晰地理解？