Python 使用dask将bigquery数据帧拆分为块
我搜索并测试了不同的方法,以确定是否能够将BigQueryDataFrame拆分为75行的块,但找不到这样做的方法。这是塞纳里奥: 我使用python和gcp SDK获得了一个非常大的bigquery数据帧(数百万行):Python 使用dask将bigquery数据帧拆分为块,python,numpy,google-bigquery,dask,dask-distributed,Python,Numpy,Google Bigquery,Dask,Dask Distributed,我搜索并测试了不同的方法,以确定是否能够将BigQueryDataFrame拆分为75行的块,但找不到这样做的方法。这是塞纳里奥: 我使用python和gcp SDK获得了一个非常大的bigquery数据帧(数百万行): from google.cloud import bigquery def returnBQResult(sqlQuery): bqClient = bigquery.Client() query_job = bqClient.qu
from google.cloud import bigquery
def returnBQResult(sqlQuery):
bqClient = bigquery.Client()
query_job = bqClient.query(sqlQuery)
return query_job.to_dataframe()
我正在寻找类似于以下numpy代码的东西,但使用dask并并行执行:
dfBQResults=returnBQResult(sql)
result=numpy.array_split(dfBQResults,75)