从java中删除hdfs文件夹

在边缘节点上运行的java应用程序中，我需要删除hdfs文件夹（如果存在）。在运行输出到文件夹中的mapreduce作业（使用spark）之前，我需要这样做

我发现我可以用这个方法

org.apache.hadoop.fs.FileUtil.fullyDelete(new File(url))

但是，我只能使其与本地文件夹（即运行计算机上的文件url）一起工作。我试着使用类似于：

url = "hdfs://hdfshost:port/the/folder/to/delete";

使用

hdfs://hdfshost:port

作为hdfs名称节点IPC。我将其用于mapreduce，因此它是正确的。 然而，它没有做任何事情

那么，我应该使用什么url，或者有其他方法吗

注意：这是一个有问题的简单项目。

我是这样做的：

    Configuration conf = new Configuration();
    conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
    conf.set("fs.file.impl",org.apache.hadoop.fs.LocalFileSystem.class.getName());
    FileSystem  hdfs = FileSystem.get(URI.create("hdfs://<namenode-hostname>:<port>"), conf);
    hdfs.delete("/path/to/your/file", isRecursive);

Configuration conf=new Configuration（）；
conf.set（“fs.hdfs.impl”，org.apache.hadoop.hdfs.DistributedFileSystem.class.getName（））；
conf.set（“fs.file.impl”，org.apache.hadoop.fs.LocalFileSystem.class.getName（））；
FileSystem hdfs=FileSystem.get（URI.create（“hdfs://:”），conf）；
删除（“/path/to/your/file”，isRecursive）；

您不需要

hdfs://hdfshost:port/

在您的文件路径中

这对我很有用

只需在我的WordCount程序中添加以下代码即可：

import org.apache.hadoop.fs.*;

...
Configuration conf = new Configuration();

Path output = new Path("/the/folder/to/delete");
FileSystem hdfs = FileSystem.get(URI.create("hdfs://namenode:port"),conf);

// delete existing directory
if (hdfs.exists(output)) {
    hdfs.delete(output, true);
}

Job job = Job.getInstance(conf, "word count");
...

---

您需要添加

hdfs://hdfshost:port

明确获取分布式文件系统。否则，代码仅适用于本地文件系统。

如果需要删除目录中的所有文件：

1） 检查目录中有多少文件

2） 稍后删除所有这些内容

     public void delete_archivos_dedirectorio() throws IOException {

//namenode= hdfs://ip + ":" + puerto 

            Path directorio = new Path(namenode + "//test//"); //nos situamos en la ruta//
            FileStatus[] fileStatus = hdfsFileSystem.listStatus(directorio); //listamos los archivos que hay actualmente en ese directorio antes de hacer nada
            int archivos_basura =  fileStatus.length; //vemos cuandoarchivos hay en el directorio antes de hacer nada, y luego iteramos hasta el nuemro de archivos que haya y llos vamos borrando para luego ir crandolos de nuevo en el writte.


            for (int numero = 0; numero <= archivos_basura ; numero++) {

                Path archivo = new Path(namenode + "//test//" + numero + ".txt");

                try {

                    if(hdfsFileSystem.exists(archivo)) {

                        try {
                            hdfsFileSystem.delete(archivo, true);
                        } catch (IOException ex) {
                            System.out.println(ex.getMessage());
                        }
                    }
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

public void delete\u archivos\u dedirectorio（）引发IOException{
//名称节点=hdfs://ip +“：”+波多黎各
路径方向=新路径（namenode+“///test//”；///nos situamos en la ruta//
FileStatus[]FileStatus=hdfsFileSystem.listStatus（directorio）；//listamos los archivos que hay actualmente en ese directorio antes de hacer nada
int archivos_basura=fileStatus.length；//vemos cuandoarchivos hay en el directorio antes de hacer nada，y luego iteramos hasta el numro de archivos que haya y llos vamos borrando para luego ir crandolos de nuevo en el write。
对于（int numero=0；numero-Perfect），这很有效。另外，我希望我可以使用
hdfs
执行其他标准文件系统操作。@Juh_u是的，您可以使用上面的
hdfs
执行很多操作-创建文件、列出文件、删除等。类似于delete方法现在已不推荐使用。