Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/350.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 更新apach beam数据流和google cloud bigquery的指南_Python_Google Bigquery_Google Cloud Dataflow_Apache Beam_Google Cloud Datalab - Fatal编程技术网

Python 更新apach beam数据流和google cloud bigquery的指南

Python 更新apach beam数据流和google cloud bigquery的指南,python,google-bigquery,google-cloud-dataflow,apache-beam,google-cloud-datalab,Python,Google Bigquery,Google Cloud Dataflow,Apache Beam,Google Cloud Datalab,我想使用最新的google cloud bigquery和dataflow sdk 可用于Python2.7 旧版本和新版本的客户端bigquery代码发生了巨大的变化 旧版本计划弃用。基于 以下出版物: 我的管道设置如下所示: *from setuptools import setup, find_packages* *setup(* * name='big-query',* * version='1.0.0',* * packages=find_packages(),* * key

我想使用最新的google cloud bigquery和dataflow sdk 可用于Python2.7

旧版本和新版本的客户端bigquery代码发生了巨大的变化 旧版本计划弃用。基于 以下出版物:

我的管道设置如下所示:

*from setuptools import setup, find_packages*
*setup(*
*  name='big-query',*
*  version='1.0.0',*
*  packages=find_packages(),*
*  keywords=[*
*  ],*
*  license="Apache Software License",*
*  install_requires=[*
*    'google-cloud-bigquery==0.28.0',*
*  ],*
*  package_data={*
*  },*
*  data_files=[],*
*)*
我从管道代码中调用它:

环境: dataflow视图上的SDK版本显示为2.0.0和一个弃用版本 消息 管道是在Google Cloud datalab环境下用Python 2.7.0编写的 更新google cloud bigquery的安装失败

我的问题是: 1.如何更新数据流SDK?setup.py文件?更新数据实验室? 2.我可以使用的google cloud bigquery的最新版本是什么 其匹配的数据流

谢谢, 埃拉兰

  • 如何更新数据流SDK?setup.py文件?更新数据实验室?
  • Dataflow SDK现在已被弃用,但您可以安装Apache Beam SDK,因为Dataflow和2.0.0以来的早期Apache Beam SDK完全支持它。以下是谷歌在这方面的官方声明:

    Cloud Dataflow SDK Deprecation Notice: The Cloud Dataflow SDK 2.5.0 is the last Cloud Dataflow SDK release that is separate from the Apache Beam SDK releases.
    The Cloud Dataflow service fully supports official Apache Beam SDK releases. The Cloud Dataflow service also supports previously released Apache Beam SDKs starting with version 2.0.0 and above.
    
    Dataflow SDK可通过以下方式升级:

    只要需要在环境中指定依赖项的版本,就可以检查语法

  • 我可以使用的最新版本的google cloud bigquery及其匹配的数据流是什么。

  • 有些库是不向前兼容的,您可以使用SDK与工作依赖项兼容列表作为参考。正如您在列表中看到的,workers上已经安装的最后一个google cloud bigquery版本&您的配置完全支持的版本是1.17.0,但请记住,到2020年1月1日,Python 2.x、任何相关SDK和库版本将不再受支持

    澄清问题:Beam Python SDK的版本是2.0.0?
    Cloud Dataflow SDK Deprecation Notice: The Cloud Dataflow SDK 2.5.0 is the last Cloud Dataflow SDK release that is separate from the Apache Beam SDK releases.
    The Cloud Dataflow service fully supports official Apache Beam SDK releases. The Cloud Dataflow service also supports previously released Apache Beam SDKs starting with version 2.0.0 and above.
    
    pip install --upgrade apache-beam[gcp]