更快地将mongo中的数据吸收到python中

更快地将mongo中的数据吸收到python中,python,mongodb,pandas,Python,Mongodb,Pandas,我已读取以下数据: print datetime.datetime.now() opts = m.get_unique_dates_for_underlying(ticker, "date") print datetime.datetime.now() 具有以下输出: 2015-11-02 22:46:50.371000 2015-11-02 22:46:50.371000 现在,当我将数据读入数据帧时,运行时需要12分钟: df_opts = pd.DataFrame(list(opt

我已读取以下数据:

print datetime.datetime.now()

opts = m.get_unique_dates_for_underlying(ticker, "date")

print datetime.datetime.now()
具有以下输出:

2015-11-02 22:46:50.371000
2015-11-02 22:46:50.371000
现在,当我将数据读入数据帧时,运行时需要12分钟:

df_opts = pd.DataFrame(list(opts)).convert_objects()
有没有更快的方法来实现这一点


df_opts
的长度为351500。

是否
m.get_unique_dates_作为基础
返回生成器?如果是这样的话,这就解释了为什么它会“立即”返回,而当您将它打包到数据帧中时,您会将它转换到一个列表中,然后Python需要迭代所有对象,其中351500个,并创建一个列表。如果它是一个生成器,你能不能不让熊猫从生成器中加载,这样你就可以跳过显式创建一个大列表?@ChristianWitts我从阅读中了解到我对列表(光标)的使用似乎是一个问题。你试过了吗?@Leb谢谢是的,我在上下班路上发了这个问题后发现了monary。感谢您为这条路线提供的额外动力。
m.get\u unique\u dates\u for\u underlined
是否返回生成器?如果是这样的话,这就解释了为什么它会“立即”返回,而当您将它打包到数据帧中时,您会将它转换到一个列表中,然后Python需要迭代所有对象,其中351500个,并创建一个列表。如果它是一个生成器,你能不能不让熊猫从生成器中加载,这样你就可以跳过显式创建一个大列表?@ChristianWitts我从阅读中了解到我对列表(光标)的使用似乎是一个问题。你试过了吗?@Leb谢谢是的,我在上下班路上发了这个问题后发现了monary。感谢你们为这条路线提供的额外动力。