Python 是否将熊猫数据帧作为CSV文件导出到Azure data Lake存储?

Python 是否将熊猫数据帧作为CSV文件导出到Azure data Lake存储?,python,pandas,csv,azure-data-lake,Python,Pandas,Csv,Azure Data Lake,这可能是一个不常见的问题,因为我相信以前从来没有人问过这个问题,但有可能将熊猫数据帧直接导出到Azure data Lake存储中作为CSV文件吗 为了添加一些上下文,我有一个pandas数据框,它作为CSV文件导出到本地目录,使用datalakeserviceclientI然后从文件路径获取CSV文件,并将文件写入data lake存储器 docs[:0].to_csv("test.csv", index = False) docs.to_csv("test.c

这可能是一个不常见的问题,因为我相信以前从来没有人问过这个问题,但有可能将熊猫数据帧直接导出到Azure data Lake存储中作为CSV文件吗

为了添加一些上下文,我有一个pandas数据框,它作为CSV文件导出到本地目录,使用
datalakeserviceclient
I然后从文件路径获取CSV文件,并将文件写入data lake存储器


docs[:0].to_csv("test.csv", index = False)
docs.to_csv("test.csv", index = False, header = False ,mode = 'a', quoting = csv.QUOTE_NONNUMERIC)

try:  
    global service_client
        
    service_client = DataLakeServiceClient(account_url="{}://{}.dfs.core.windows.net".format(
        "https", "XXXX"), credential='XXX')
    

    file_system_client = service_client.get_file_system_client(file_system="root")

    directory_client = file_system_client.get_directory_client("test_db") 

    file_client = directory_client.create_file("test.csv") 
    local_file = open(r"C:XXXX\test.csv",'rb') 

    file_contents = local_file.read()

    file_client.upload_data(file_contents, overwrite=True) 


except Exception as e:
    print(e) 


但是,我不想将数据帧导出到本地目录,而是想找到一种直接将其导出到data lake存储的方法。这真的可能吗


非常感谢您的帮助。使用csv可以将数据帧保存到缓冲区中

请尝试以下代码:

从io导入StringIO
text_stream=StringIO()
文档到csv(文本流)
#代码的其余部分
文件\客户端。上载\数据(文本\流,覆盖=True)

您浏览过Microsoft文档吗?它们相当全面。是的,这就是我用来寻找如何将文件上传到目录的方法,但我想知道的是,它是否可以直接从数据帧上传到数据湖,而不必在本地保存