Databricks 数据块删除通配符
我的存储帐户中有.txt和.csv文件。我只想删除.txt文件。如何使用dbutils.fs.rm()在databricks中删除?或者任何其他方法?如果是一次性的,我倾向于使用*unix等价物-Databricks 数据块删除通配符,databricks,azure-databricks,Databricks,Azure Databricks,我的存储帐户中有.txt和.csv文件。我只想删除.txt文件。如何使用dbutils.fs.rm()在databricks中删除?或者任何其他方法?如果是一次性的,我倾向于使用*unix等价物- %sh rm -rf /dbfs/mnt/<your-path>/*delete_files*.txt 获得所需文件后,可以使用标准操作系统包或dbutils删除它们 这回答了你的问题吗? def run_os_scandir(directory,pattern=None):
%sh
rm -rf /dbfs/mnt/<your-path>/*delete_files*.txt
获得所需文件后,可以使用标准操作系统包或dbutils删除它们
这回答了你的问题吗?
def run_os_scandir(directory,pattern=None):
pattern = re.compile(pattern)
fu = []
for f in os.scandir(directory):
#### If the files you are looking for are standalone files , use (not is_dir) else remove not condition
if not f.is_dir() and pattern.match(os.path.basename(f.path)):
fu += [f.path]
return fu
#### Usage , Note , the function works only if you add /dbfs to your mount path(s)
delete_file_lst = run_os_scandir('/dbfs/mnt/<your-path>/','*delete_files*.txt')
dbutils - [
dbutils.fs.rm(f[5:]) for f in delete_file_lst
] ### f[5:] , removes the /dbfs , from the file path
os - [os.remove(f) for f in delete_file_lst]