如何使用.boto文件启用hadoop访问Google云

如何使用.boto文件启用hadoop访问Google云,hadoop,google-cloud-storage,Hadoop,Google Cloud Storage,我们公司正在从s3迁移到GCS。虽然命令行实用程序gsutil运行良好,但我在配置Hadoop(core site.xml)以启用对GCS的访问时遇到了困难。这个google页面列出了需要添加的名称-值对,但是我在~/.boto文件中找不到这些。.boto文件仅具有以下集合: [Credentials]下的gs_oauth2_refresh_token [GSUtil]下的默认\u项目\u id 很少有人喜欢api_版本等。。 [OAuth2]部分为空 我可以使用gs\u oauth2\u re

我们公司正在从s3迁移到GCS。虽然命令行实用程序
gsutil
运行良好,但我在配置Hadoop(core site.xml)以启用对GCS的访问时遇到了困难。这个google页面列出了需要添加的名称-值对,但是我在~/.boto文件中找不到这些。.boto文件仅具有以下集合:

  • [Credentials]下的gs_oauth2_refresh_token
  • [GSUtil]下的默认\u项目\u id
  • 很少有人喜欢api_版本等。。 [OAuth2]部分为空

  • 我可以使用
    gs\u oauth2\u refresh\u token
    生成必要的密钥并将它们添加到Hadoop配置中吗?或者我可以从任何其他
    gsutil
    config文件中获取这些信息吗?

    对于hadoop配置,您可能希望使用服务帐户,而不是与实际电子邮件地址关联的gsutil凭据;有关设置
    p12
    keyfile以及其他必要配置参数的更多详细信息,请参阅