Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/google-cloud-platform/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Google cloud platform 使用LFTP将数据从SFTP同步到Google云存储_Google Cloud Platform_Synchronization_Google Cloud Storage_Sftp_Lftp - Fatal编程技术网

Google cloud platform 使用LFTP将数据从SFTP同步到Google云存储

Google cloud platform 使用LFTP将数据从SFTP同步到Google云存储,google-cloud-platform,synchronization,google-cloud-storage,sftp,lftp,Google Cloud Platform,Synchronization,Google Cloud Storage,Sftp,Lftp,我在一个计算实例上使用lftp将数据从sftp服务器同步到GCS。我正在跟踪链接以建立我的连接 我在某个特定的时间运行了cron作业,但是我在挂载的云存储桶上什么也没有得到,这意味着我的cron作业失败了,但我不知道原因。我在哪里可以看到我的cron作业的状态?我对cron作业使用了以下命令 45 15 * * * lftp sftp://<username>:<password>@<sftp-server-ip/domain> -e "set sftp:a

我在一个计算实例上使用lftp将数据从sftp服务器同步到GCS。我正在跟踪链接以建立我的连接

我在某个特定的时间运行了cron作业,但是我在挂载的云存储桶上什么也没有得到,这意味着我的cron作业失败了,但我不知道原因。我在哪里可以看到我的cron作业的状态?我对cron作业使用了以下命令

45 15 * * * lftp sftp://<username>:<password>@<sftp-server-ip/domain>  -e "set sftp:auto-confirm yes;  mirror --verbose /path/on/sftp ~/gcsBucket ;  bye"
45 15***lftp sftp:/:@-e“设置sftp:自动确认是;镜像--verbose/path/on/sftp~/gcsBucket;再见”
这项工作安排在每天下午3:45。
我在上面的命令中犯了错误吗?

我遇到了类似的问题。对我有效的解决方案是:

  • 确保您不是root用户
  • 成功装载GCS铲斗,每次重新启动机器时,您需要 重新安装将重新安装脚本配置为启动脚本可以是 好办法
  • 确保在project中启用了存储API
  • 编辑您的虚拟机,并在API访问范围下为启用存储API 完全或读/写访问权限。取决于您的使用情况。
  • 第4点很重要,因为它在任何文档中都没有提及,我通过点击并尝试找到了它。
    祝贺您可以测试您的SFTP sync实用程序了

    您确定您的gcsfuse挂载点已正确挂载并可供cron作业使用的用户访问吗?我正在使用google cloud中的默认项目…它具有所有防火墙访问权限…我是否必须添加其他内容???我关心的是Linux环境,而不是GCP环境。将此添加到您的crontab
    ***whoami>/tmp/whoami
    。该文件的内容将为您提供在cron执行上下文中使用的用户。然后执行
    sudo su-
    并尝试到达保险丝安装点。这可能是linux ACL的问题。cron log/var/log/cron.log的输出是什么?