Fatal编程技术网
  • dask/
  • Dask 并行地从RESTAPI加载数据帧

Dask 并行地从RESTAPI加载数据帧

dask

Dask 并行地从RESTAPI加载数据帧,dask,Dask,我希望通过HTTP POST向REST API发出并行请求，该POST返回CSV（可选JSON）并将结果加载到数据帧中。有这种情况的例子吗？我找过了，运气不好。下面是我可以用来搜索的cURL命令示例： https://someserver/search \ -d search="${1}" \ -d count=100 -d output=csv 对于每个被某个搜索谓词（比如state=“MD”）划分的请求，搜索字符串都需要不同。如果您阅读dask的

我希望通过HTTP POST向REST API发出并行请求，该POST返回CSV（可选JSON）并将结果加载到数据帧中。有这种情况的例子吗？我找过了，运气不好。下面是我可以用来搜索的cURL命令示例：

    https://someserver/search \
    -d search="${1}" \
    -d count=100 -d output=csv
对于每个被某个搜索谓词（比如state=“MD”）划分的请求，搜索字符串都需要不同。如果您阅读dask的
延迟
文档，这听起来相当直截了当


import dask
import dask.dataframe as dd
import pandas

url = 'https://someserver/search?search={}&count=100&output=csv'


@dask.delayed
def load_one_query(i):
    return df.read_csv(url.format(i))

df = dd.from_delayed([load_one_query(i) for i in ...])


（您可能需要在查询/URL上进行URL引用）