Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/356.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 地面军事系统可恢复上传速度_Java_Python_File Upload_Google Cloud Storage_Gsutil - Fatal编程技术网

Java 地面军事系统可恢复上传速度

Java 地面军事系统可恢复上传速度,java,python,file-upload,google-cloud-storage,gsutil,Java,Python,File Upload,Google Cloud Storage,Gsutil,我有一个关于使用可恢复上传到谷歌云存储的上传速度的问题。 我已经编写了一个桌面java客户端来将大文件上传到GCS(它有一些特殊的功能,这就是为什么gsutil不是我公司的答案)。在大约2个月前的测试运行期间,它很好地利用了可用的连接带宽,25Mbps连接中有20Mbps。该项目被冻结了近2个月,现在当它重新打开时,同一个客户端正在以25Mbps可用速率中约1.4Mbps的速度上传。 我编写了一个简单的Python脚本来检查它是否会有同样的问题,速度稍微快了一点,但仍然保持在2Mbps左右。Gs

我有一个关于使用可恢复上传到谷歌云存储的上传速度的问题。 我已经编写了一个桌面java客户端来将大文件上传到GCS(它有一些特殊的功能,这就是为什么gsutil不是我公司的答案)。在大约2个月前的测试运行期间,它很好地利用了可用的连接带宽,25Mbps连接中有20Mbps。该项目被冻结了近2个月,现在当它重新打开时,同一个客户端正在以25Mbps可用速率中约1.4Mbps的速度上传。 我编写了一个简单的Python脚本来检查它是否会有同样的问题,速度稍微快了一点,但仍然保持在2Mbps左右。Gsutil工具的性能与我的Python脚本几乎相同。 我还以超过50Mbps的上传速度在不同的网络基础设施上运行了测试

结果也相当糟糕:

  • Java客户端2.4Mbps
  • Python脚本3.2Mbps
  • gsutil 3.2Mbps
唯一改变的是谷歌云存储API版本。我使用的是JSON API,第一个测试是在v1beta API版本上运行的。 目前,我使用的是折旧后的API还是新的API没有区别

有没有人遇到过同样的上传速度下降

你的平均上传速度是多少

上传性能大幅下降的可能原因是什么


复合对象的并行上载是否有助于我充分利用可用带宽?

要确定您可以期望的最高带宽是多少,我们建议运行该命令

例如,要查看它上载100 MB文件的效果:

gsutil perfdiag -t wthru -s 100M gs://bucketname
这将上传一个100MB的文件五次,并报告结果。我的跑步记录的输出示例:

------------------------------------------------------------------------------
                               Write Throughput                               
------------------------------------------------------------------------------
Copied a 100 MB file 5 times for a total transfer size of 500 MB.
Write throughput: 71.61 Mbit/s.

它还将输出许多可能有助于诊断问题的其他信息。如果perfdiag输出显示的吞吐量比应用程序高得多,那么代码可能有问题。如果perfdiag输出的带宽也很低,那么到谷歌服务器的网络路径可能有问题,perfdiag输出可以帮助确定问题所在。如果这无助于解决您的问题,请将结果文件(
perfdiag-o output.json
)通过电子邮件发送到gs-team@google.com.

谢谢你的回答,这对我很有帮助。我无法在gsutil版本4.5上运行perfdiag-t wthru命令,因为它抛出了
“NoneType”对象不可调用。
异常(我注意到测试文件存在于GCS存储桶中,尽管有错误)。lat和rthru的运行没有问题。我设法在gsutil 4.2上运行了测试,上传了100万个文件。单线程的结果与Python脚本的结果相同,大约为3.2Mbps。我还对4个线程进行了测试,它成功地将上传速度提升到8Mbps以上。测试结果表明我的代码正常,我的网络连接有问题。我想知道为什么两个月前在同一个网络基础设施上运行测试时会有如此大的差异。你有什么建议吗?我可以在日志中检查哪些内容,以确定上传到Google服务器的速度有限的原因,或者我应该向你发送json日志文件吗?再次感谢你的帮助。你有可能不在美国吗?如果你在欧盟,确保你在给欧盟的桶写信。否则,请尝试到storage.googleapis.comWell的跟踪路径,没错。我在欧盟,在创建桶时没有提供位置约束。我将尝试创建一个欧盟桶,并告知它是否有用。再次感谢。嗯……我已经创建了一个带有位置限制“EU”的新桶,但它没有一点帮助。上传速度和以前一样。