如何使用pyspark递归地获取存储在dbfs文件夹中的Excel文件?
我在dbfs中安装了一个路径,我需要从给定文件夹中提取Excel文件路径,同一文件夹包含Excel文件或包含Excel文件的子文件夹。当前代码仅提供一个文件夹中的Excel文件,而不提供子文件夹中的Excel文件如何使用pyspark递归地获取存储在dbfs文件夹中的Excel文件?,pyspark,apache-commons-dbutils,Pyspark,Apache Commons Dbutils,我在dbfs中安装了一个路径,我需要从给定文件夹中提取Excel文件路径,同一文件夹包含Excel文件或包含Excel文件的子文件夹。当前代码仅提供一个文件夹中的Excel文件,而不提供子文件夹中的Excel文件 files = dbutils.fs.ls('/raw/internal/srange/2018_11_30_00_22_11/') for file in files: if file.path.endswith('xlsx'): path = '/dbfs' + fil
files = dbutils.fs.ls('/raw/internal/srange/2018_11_30_00_22_11/')
for file in files:
if file.path.endswith('xlsx'):
path = '/dbfs' + file.path[5:]
print(path)
您还应该检查目录
def walk_dir(dir_path):
dir_files = dbutils.fs.ls(dir_path)
excel_files = []
for file in dir_files:
if file.isDir():
excel_files.extend(walk_dir(file.path))
elif file.path.endswith('.xlsx'):
excel_files.append(os.path.join('/dbfs', file.path[5:]))
return excel_files
all_excel = walk_dir('/raw/internal/srange/2018_11_30_00_22_11/')
我没有尝试过该代码,因此可能有问题。这是我的建议:
for file1 in dbutils.fs.ls("dbfs:/raw/internal/srange/2018_11_30_00_22_11/"):
if '.xlsx' in file1.name:
print (file1.name)
for file2 in dbutils.fs.ls("dbfs:/raw/internal/srange/2018_11_30_00_22_11/"+file1.name):
if '.xlsx' in file2.name:
print (file2.name)
for file3 in dbutils.fs.ls("dbfs:/raw/internal/srange/2018_11_30_00_22_11/"+file1.name+file2.name):
if '.xlsx' in file3.name:
print (file3.name)