Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/364.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 使用dask将bigquery数据帧拆分为块_Python_Numpy_Google Bigquery_Dask_Dask Distributed - Fatal编程技术网

Python 使用dask将bigquery数据帧拆分为块

Python 使用dask将bigquery数据帧拆分为块,python,numpy,google-bigquery,dask,dask-distributed,Python,Numpy,Google Bigquery,Dask,Dask Distributed,我搜索并测试了不同的方法,以确定是否能够将BigQueryDataFrame拆分为75行的块,但找不到这样做的方法。这是塞纳里奥: 我使用python和gcp SDK获得了一个非常大的bigquery数据帧(数百万行): from google.cloud import bigquery def returnBQResult(sqlQuery): bqClient = bigquery.Client() query_job = bqClient.qu

我搜索并测试了不同的方法,以确定是否能够将BigQueryDataFrame拆分为75行的块,但找不到这样做的方法。这是塞纳里奥:

我使用python和gcp SDK获得了一个非常大的bigquery数据帧(数百万行):

    from google.cloud import bigquery

    def returnBQResult(sqlQuery):
       bqClient = bigquery.Client()
       query_job = bqClient.query(sqlQuery)
       return query_job.to_dataframe()
我正在寻找类似于以下numpy代码的东西,但使用dask并并行执行:

       dfBQResults=returnBQResult(sql)
       result=numpy.array_split(dfBQResults,75)