Google cloud platform 数据流:Apache Beam警告:Apache_Beam.utils。重试:使用指数退避重试:
我有一个简单的管道,3周前它还可以正常工作,但我回到了代码中对其进行了增强,当我尝试运行代码时,它返回了以下错误: 警告:apache_beam.utils.retry:使用指数退避重试:等待10.280192286716229秒后重试,因为我们捕获到异常:TypeError:字符串索引必须是整数 对上述异常的回溯(最近一次呼叫最后一次): 我正在Google云平台上通过Cloud Shell运行数据流脚本。通过简单地执行Python3 代码如下所示,用于将作业提交到数据流而不发出任何问题Google cloud platform 数据流:Apache Beam警告:Apache_Beam.utils。重试:使用指数退避重试:,google-cloud-platform,google-cloud-dataflow,apache-beam,Google Cloud Platform,Google Cloud Dataflow,Apache Beam,我有一个简单的管道,3周前它还可以正常工作,但我回到了代码中对其进行了增强,当我尝试运行代码时,它返回了以下错误: 警告:apache_beam.utils.retry:使用指数退避重试:等待10.280192286716229秒后重试,因为我们捕获到异常:TypeError:字符串索引必须是整数 对上述异常的回溯(最近一次呼叫最后一次): 我正在Google云平台上通过Cloud Shell运行数据流脚本。通过简单地执行Python3 代码如下所示,用于将作业提交到数据流而不发出任何问题 im
import json
import apache_beam as beam
from apache_beam.options.pipeline_options import PipelineOptions, StandardOptions
from apache_beam import coders
pipeline_args=[
'--runner=DataflowRunner',
'--job_name=my-job-name',
'--project=my-project-id',
'--region=europe-west2',
'--temp_location=gs://mybucket/temp',
'--staging_location=gs://mybucket/staging'
]
options = PipelineOptions (pipeline_args)
p = beam.Pipeline(options=options)
rows = (
p | 'Read daily Spot File' >> beam.io.ReadFromText(
file_pattern='gs://bucket/filename.gz',
compression_type='gzip',
coder=coders.BytesCoder(),
skip_header_lines=0))
p.run()
任何关于为什么会发生这种情况的建议,都很想知道。
提前感谢。在“阅读每日现场文件”之后,您会做什么?该错误消息似乎来自其他地方。您也可以显示回溯吗?如果您仍然遇到此行为,则进行完整的回溯将非常有用。顺便说一句,我刚刚成功运行了您的代码,因此我们肯定需要查看更多代码(如果不是全部)或回溯以帮助您。