Google cloud dataflow 属性错误:';RuntimeValueProvider';对象没有属性';projectd';
我试图在Dataflow runner中运行apache beam管道;作业从bigquery表读取数据,并将数据写入数据库 我使用dataflow中的classic template选项运行作业-这意味着首先我必须准备管道,然后使用适当的参数运行它Google cloud dataflow 属性错误:';RuntimeValueProvider';对象没有属性';projectd';,google-cloud-dataflow,apache-beam,apache-beam-io,Google Cloud Dataflow,Apache Beam,Apache Beam Io,我试图在Dataflow runner中运行apache beam管道;作业从bigquery表读取数据,并将数据写入数据库 我使用dataflow中的classic template选项运行作业-这意味着首先我必须准备管道,然后使用适当的参数运行它 parser.add_value_provider_argument('--input-table', help='The bigquery input tabl
parser.add_value_provider_argument('--input-table',
help='The bigquery input table in the format dataset.table_name')
我的管道选项如下
options = PipelineOptions()
options.view_as(SetupOptions).save_main_session = True
importer_options = options.view_as(ImporterOptions)
google_options = options.view_as(GoogleCloudOptions)
with beam.Pipeline(options=options) as p:
p | 'BigQuery Read' >> beam.io.ReadFromBigQuery(
table=importer_options.input_table)
ImportOptions当前正在接受input_表作为参数
parser.add_value_provider_argument('--input-table',
help='The bigquery input table in the format dataset.table_name')
但运行管道会给我带来如下错误
文件
“/usr/local/lib/python3.8/site packages/apache_beam/io/gcp/bigquery.py”,
第791行,如果不是self.table_reference.projectId,则拆分为:
AttributeError:“RuntimeValueProvider”对象没有属性
“投射”
任何人都知道我错过了什么
我正在使用下面的命令构建模板
python-m main--runner数据流runner
--项目测试项目
--地区=欧洲西部1
--staging_location gs://test/staging_python
--温度位置gs://test/test
--模板位置gs://test/templates\u python/test\
注意-我尝试运行管道,针对输入表(包括项目id)提供完全限定的表名,但这也没有帮助。我们面临同样的问题,这是自2020年底发布的2.26.0版以来的一个错误 将创建错误报告: 现在可以使用拉取请求: 希望它能在下一版本(2.31.0)中修复