Google cloud dataflow 是否有一种方法可以读取“quot;”;。";文件通过apache beam?

Google cloud dataflow 是否有一种方法可以读取“quot;”;。";文件通过apache beam?,google-cloud-dataflow,apache-beam,Google Cloud Dataflow,Apache Beam,我想从谷歌云存储中读取一个“.h”(hdf)文件,该文件名为“data_2020.h” 有没有一种方法可以像熊猫一样直接读取文件? 下面的代码是一个示例: import pandas as pd df = pd.read_hdf("data_2020.h", mode="r") 一个很好的例子是Beam中的\u ReadFromPandas变换。看 简而言之,Beam有许多fileio转换,允许您处理/操作文件 您可以这样做: def read_h

我想从谷歌云存储中读取一个“.h”(hdf)文件,该文件名为“data_2020.h” 有没有一种方法可以像熊猫一样直接读取文件? 下面的代码是一个示例:

 import pandas as pd
 df = pd.read_hdf("data_2020.h", mode="r")

一个很好的例子是Beam中的
\u ReadFromPandas
变换。看

简而言之,Beam有许多
fileio
转换,允许您处理/操作文件

您可以这样做:


def read_hdf(可读文件):
fd=可读的_文件.open()
对于pd中的elm,请参见hdf(fd):
榆树产量
hdf\u读取\u输出=(
P
|fileio.MatchFiles(“data_2020.h”)
|fileio.ReadMatches()
|光束平面图(读取(hdf))

Thnx对于kind响应,这里的问题是pandas。read_hdf()它不接受pandas团队尚未实现的“gs://”文件路径。没错-我的响应所做的是传递一个文件缓冲区而不是文件名太好了!谢谢,如果你能提供一个小例子,使用文件缓冲区是100%清楚。这个例子是在我的答案<代码>p表示梁管道