Google cloud platform 将Google Dataproc查询的输出重定向到文本文件

Google cloud platform 将Google Dataproc查询的输出重定向到文本文件,google-cloud-platform,google-cloud-dataproc,Google Cloud Platform,Google Cloud Dataproc,我需要一个文本文件中的GoogleDataProc输出 例如,我有以下查询: gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\ --execute=“从数据库表中选择计数(*)” 我只需要平面文件中记录计数的信息 我正在使用下面的东西(重定向操作符)。但是,它提供了在控制台中打印的全部数据 gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\ --execute=

我需要一个文本文件中的GoogleDataProc输出

例如,我有以下查询:

gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\
--execute=“从数据库表中选择计数(*)”
我只需要平面文件中记录计数的信息

我正在使用下面的东西(重定向操作符)。但是,它提供了在控制台中打印的全部数据

gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\
--execute=“从db.table;”>text.csv中选择计数(*)
我期望的输出是:

724
其中
724
是我的表中的记录总数

解决方案:

gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\ --execute=“从db.table中选择计数(*)”&>text.csv


在重定向之前使用“&”。它会将整个输出重定向到test.csv文件。

这是Dataproc作业API不支持的。在重定向之前,您可能需要进行一些输出解析。我提交了一个特性请求,以在jobsapi输出中分离stdout和stderr。谢谢你的反馈