Google cloud platform 将Google Dataproc查询的输出重定向到文本文件
我需要一个文本文件中的GoogleDataProc输出 例如,我有以下查询:Google cloud platform 将Google Dataproc查询的输出重定向到文本文件,google-cloud-platform,google-cloud-dataproc,Google Cloud Platform,Google Cloud Dataproc,我需要一个文本文件中的GoogleDataProc输出 例如,我有以下查询: gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\ --execute=“从数据库表中选择计数(*)” 我只需要平面文件中记录计数的信息 我正在使用下面的东西(重定向操作符)。但是,它提供了在控制台中打印的全部数据 gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\ --execute=
gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\
--execute=“从数据库表中选择计数(*)”
我只需要平面文件中记录计数的信息
我正在使用下面的东西(重定向操作符)。但是,它提供了在控制台中打印的全部数据
gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\
--execute=“从db.table;”>text.csv中选择计数(*)
我期望的输出是:
724
其中724
是我的表中的记录总数
解决方案:
gcloud dataproc作业提交配置单元--cluster=$cluster--region=$region\
--execute=“从db.table中选择计数(*)”&>text.csv
在重定向之前使用“&”。它会将整个输出重定向到test.csv文件。这是Dataproc作业API不支持的。在重定向之前,您可能需要进行一些输出解析。我提交了一个特性请求,以在jobsapi输出中分离stdout和stderr。谢谢你的反馈