Python 更新apach beam数据流和google cloud bigquery的指南
我想使用最新的google cloud bigquery和dataflow sdk 可用于Python2.7 旧版本和新版本的客户端bigquery代码发生了巨大的变化 旧版本计划弃用。基于 以下出版物: 我的管道设置如下所示:Python 更新apach beam数据流和google cloud bigquery的指南,python,google-bigquery,google-cloud-dataflow,apache-beam,google-cloud-datalab,Python,Google Bigquery,Google Cloud Dataflow,Apache Beam,Google Cloud Datalab,我想使用最新的google cloud bigquery和dataflow sdk 可用于Python2.7 旧版本和新版本的客户端bigquery代码发生了巨大的变化 旧版本计划弃用。基于 以下出版物: 我的管道设置如下所示: *from setuptools import setup, find_packages* *setup(* * name='big-query',* * version='1.0.0',* * packages=find_packages(),* * key
*from setuptools import setup, find_packages*
*setup(*
* name='big-query',*
* version='1.0.0',*
* packages=find_packages(),*
* keywords=[*
* ],*
* license="Apache Software License",*
* install_requires=[*
* 'google-cloud-bigquery==0.28.0',*
* ],*
* package_data={*
* },*
* data_files=[],*
*)*
我从管道代码中调用它:
环境:
dataflow视图上的SDK版本显示为2.0.0和一个弃用版本
消息
管道是在Google Cloud datalab环境下用Python 2.7.0编写的
更新google cloud bigquery的安装失败
我的问题是:
1.如何更新数据流SDK?setup.py文件?更新数据实验室?
2.我可以使用的google cloud bigquery的最新版本是什么
其匹配的数据流
谢谢,
埃拉兰
Cloud Dataflow SDK Deprecation Notice: The Cloud Dataflow SDK 2.5.0 is the last Cloud Dataflow SDK release that is separate from the Apache Beam SDK releases.
The Cloud Dataflow service fully supports official Apache Beam SDK releases. The Cloud Dataflow service also supports previously released Apache Beam SDKs starting with version 2.0.0 and above.
Dataflow SDK可通过以下方式升级:
只要需要在环境中指定依赖项的版本,就可以检查语法
有些库是不向前兼容的,您可以使用SDK与工作依赖项兼容列表作为参考。正如您在列表中看到的,workers上已经安装的最后一个google cloud bigquery版本&您的配置完全支持的版本是1.17.0,但请记住,到2020年1月1日,Python 2.x、任何相关SDK和库版本将不再受支持 澄清问题:Beam Python SDK的版本是2.0.0?
Cloud Dataflow SDK Deprecation Notice: The Cloud Dataflow SDK 2.5.0 is the last Cloud Dataflow SDK release that is separate from the Apache Beam SDK releases.
The Cloud Dataflow service fully supports official Apache Beam SDK releases. The Cloud Dataflow service also supports previously released Apache Beam SDKs starting with version 2.0.0 and above.
pip install --upgrade apache-beam[gcp]