使用Python/Pandas将数据从Vertica DB加载到文件
基本上,我正在寻找将非常大的数据集加载到数据帧的最快方法。 我知道,首先将表从Vertica加载到文件会有所帮助。 目前,从DB IDE将数据保存到CSV,然后将文件加载到pandas,比直接从Vertica使用pd.read_sql快得多。但这个过程并不方便 有什么建议吗? 我找到了这个,但不确定如何使用它保存到文件:使用Python/Pandas将数据从Vertica DB加载到文件,python,pandas,vertica,Python,Pandas,Vertica,基本上,我正在寻找将非常大的数据集加载到数据帧的最快方法。 我知道,首先将表从Vertica加载到文件会有所帮助。 目前,从DB IDE将数据保存到CSV,然后将文件加载到pandas,比直接从Vertica使用pd.read_sql快得多。但这个过程并不方便 有什么建议吗? 我找到了这个,但不确定如何使用它保存到文件: cur = connection.cursor() cur.copy("COPY test_copy (id, name) from stdin DELIMITER ',' "
cur = connection.cursor()
cur.copy("COPY test_copy (id, name) from stdin DELIMITER ',' ", csv)
我很乐意知道这个过程中的瓶颈是什么
谢谢