Warning: file_get_contents(/data/phpspider/zhask/data//catemap/4/unix/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用Python/Pandas将数据从Vertica DB加载到文件_Python_Pandas_Vertica - Fatal编程技术网

使用Python/Pandas将数据从Vertica DB加载到文件

使用Python/Pandas将数据从Vertica DB加载到文件,python,pandas,vertica,Python,Pandas,Vertica,基本上,我正在寻找将非常大的数据集加载到数据帧的最快方法。 我知道,首先将表从Vertica加载到文件会有所帮助。 目前,从DB IDE将数据保存到CSV,然后将文件加载到pandas,比直接从Vertica使用pd.read_sql快得多。但这个过程并不方便 有什么建议吗? 我找到了这个,但不确定如何使用它保存到文件: cur = connection.cursor() cur.copy("COPY test_copy (id, name) from stdin DELIMITER ',' "

基本上,我正在寻找将非常大的数据集加载到数据帧的最快方法。 我知道,首先将表从Vertica加载到文件会有所帮助。 目前,从DB IDE将数据保存到CSV,然后将文件加载到pandas,比直接从Vertica使用pd.read_sql快得多。但这个过程并不方便

有什么建议吗? 我找到了这个,但不确定如何使用它保存到文件:

cur = connection.cursor()
cur.copy("COPY test_copy (id, name) from stdin DELIMITER ',' ",  csv)
我很乐意知道这个过程中的瓶颈是什么

谢谢