使用python在HDFS中创建文件

我正在尝试使用python在HDFS中创建一个文件/目录。 明确地说，我正在运行一个Hadoop流作业，映射器是用Python编写的。这个映射程序实际上是在尝试用HDFS创建一个文件。 我读到有几个Python框架可以做到这一点，但我感兴趣的是Hadoop流。

---

那么，在Hadoop流媒体中有什么方法可以实现这一点吗？

您可以在脚本python中运行命令HDFS

import sys, subprocess

def run_cmd(args_list):
        proc = subprocess.Popen(args_list, stdout=subprocess.PIPE,stderr=subprocess.PIPE)
        (output, errors) = proc.communicate()
        if proc.returncode:
                raise RuntimeError('Error run_cmd')
        return (output, errors)

跑

(out, errors)=run_cmd(['hdfs','dfs','-mkdir','%s' %apth_HDFS_to_create_folder])