Avro 谷歌数据流&;读取拼花文件

Avro 谷歌数据流&;读取拼花文件,avro,google-cloud-dataflow,parquet,apache-beam,Avro,Google Cloud Dataflow,Parquet,Apache Beam,尝试使用Google DataFlow Java SDK,但对于我的用例,我的输入文件是.parquet文件 找不到任何开箱即用的功能,无法将拼花作为有界数据源读取到数据流管道中。 据我所知,我可以创建一个编码器和/或接收器有点像AvroIO的基础上 有没有人能建议如何最好地实施它?或者给我指一个如何\示例的参考 谢谢你的帮助 --A您可以在以下位置找到ParquetIO(即您所称的开箱即用功能性)的进展 同时,应该可以在和中使用Hadoop FileInputFormat读取拼花地板文件

尝试使用Google DataFlow Java SDK,但对于我的用例,我的输入文件是.parquet文件

找不到任何开箱即用的功能,无法将拼花作为有界数据源读取到数据流管道中。 据我所知,我可以创建一个编码器和/或接收器有点像AvroIO的基础上

有没有人能建议如何最好地实施它?或者给我指一个如何\示例的参考

谢谢你的帮助


--A

您可以在以下位置找到ParquetIO(即您所称的开箱即用功能性)的进展

同时,应该可以在和中使用Hadoop FileInputFormat读取拼花地板文件