Pandas 使用PythonDataFrame进行map reduce

有没有一种方法可以在Hadoop map reduce中将pandas dataframe用作流媒体源

这正是我现在正在做的和我想要的

目前我正在使用pandas dataframe从csv加载数据。 然后我使用一些中间数据帧来计算和存储结果

但随着脚本继续运行，处理速度会减慢

有没有一种方法可以在hadoop上与map reduce一起使用熊猫数据帧

---

问题很模糊，但有办法吗？

您必须在所有数据节点（从节点）中安装pandas；