Pandas 使用dask从配置单元读取数据

我正在使用

impala.util

中的

as_pandas

实用程序读取从hive获取的

dataframe

表单中的数据。但是，使用熊猫，我想我将无法处理大量数据，而且速度也会变慢。我一直在阅读有关dask的文章，它为读取大型数据文件提供了出色的功能。如何使用它有效地从配置单元获取数据

def as_dask(cursor):
"""Return a DataFrame out of an impyla cursor.
This will pull the entire result set into memory.  For richer pandas- 
like functionality on distributed data sets, see the Ibis project.

Parameters
----------
cursor : `HiveServer2Cursor`
    The cursor object that has a result set waiting to be fetched.
Returns
-------
DataFrame
"""
    import pandas as pd
    import dask
    import dask.dataframe as dd

    names = [metadata[0] for metadata in cursor.description]
    dfs = dask.delayed(pd.DataFrame.from_records)(cursor.fetchall(), 
    columns=names)
    return dd.from_delayed(dfs).compute()

---

目前没有一种直接的方法可以做到这一点。您最好在中查看和类似代码的实现—您可能需要一种对数据进行分区的方法，并让每个工作人员通过调用

delayed（）

获取一个分区<代码>dd.from_delayed和

dd.concat

可用于将碎片缝合在一起

-编辑-

你的功能将延迟的想法从头到脚。在一个操作于单个游标的函数中，您正在延迟并立即实现数据-它无法并行化，如果数据太大，将破坏您的内存（这就是您尝试此操作的原因）

假设您可以形成一组10个查询，其中每个查询获取数据的不同部分；不要使用偏移量，在配置单元索引的某些列上使用条件。 您希望执行以下操作：

queries = [SQL_STATEMENT.format(i) for i in range(10)]
def query_to_df(query):
    cursor = impyla.execute(query)
    return pd.DataFrame.from_records(cursor.fetchall())

现在您有了一个函数，它返回一个分区，并且不依赖于全局对象——它只接受一个字符串作为输入

parts = [dask.delayed(query_to_df)(q) for q in queries]
df = dd.from_delayed(parts)

---

你好，阿里。我不太清楚你在问什么。你的问题可能会被解读为你在征求意见，而这在这个网站上并不理想（阅读指南）。您也没有任何代码可供演示，以使响应者能够为您提供具体、实用、可用的帮助。也许你可以重新表述你的问题？谢谢你@JoSSte的指导。我已经添加了当前的代码实现来进行解释。那么

pyspark

呢？它可以读取蜂巢表和Spark DataFrames的

toPandas

方法，可以将其转换为熊猫。感谢您的回答。我已经添加了当前的代码片段。你能告诉我在将块变成延迟对象后使用“dataframe.repartitions”选项生成块的效果吗？谢谢@mdurant。你的回答帮助我理解了dask的工作原理。您特别提到不要使用偏移量。我发现很难对配置单元表中的列提出条件。不使用offset有什么具体原因吗？每次查询，offset都会从表的头部滚动数据，因此，您将导致服务器读取实际需要的每个分区的大部分表。通常，您将有一个可排序的唯一ID列用于此操作，理想情况下，该列是索引的。