将650000个文档上载到Azure

将650000个文档上载到Azure,azure,Azure,我似乎找不到任何关于批量上传数据到azure的参考 我有一个包含650000个pdf文档的文档库,它占用了大约1.2 TB的磁盘空间 通过web将这些文件上载到Azure将很困难。有没有办法我可以邮寄一个硬盘,让你的团队帮我上传 如果没有,你能推荐上传这么多文档的最佳方式吗?虽然Azure目前不提供物理摄取过程,但如果你与Azure团队友好交谈,他们可以一次性完成。如果您愿意,我可以为您联系产品团队(greenbutton.com的戴夫) 另外,还有一些解决方案,如Aspera,它通过UDP提供

我似乎找不到任何关于批量上传数据到azure的参考

我有一个包含650000个pdf文档的文档库,它占用了大约1.2 TB的磁盘空间

通过web将这些文件上载到Azure将很困难。有没有办法我可以邮寄一个硬盘,让你的团队帮我上传


如果没有,你能推荐上传这么多文档的最佳方式吗?

虽然Azure目前不提供物理摄取过程,但如果你与Azure团队友好交谈,他们可以一次性完成。如果您愿意,我可以为您联系产品团队(greenbutton.com的戴夫)

另外,还有一些解决方案,如Aspera,它通过UDP提供加速数据传输,并正在Azure中与Azure媒体服务一起进行测试


我们也有一些工具可以帮助实现这一点,并利用Aspera的技术。

虽然Azure目前不提供物理摄取过程,但如果您与Azure团队友好交谈,他们可以一次性完成。如果您愿意,我可以为您联系产品团队(greenbutton.com的戴夫)

另外,还有一些解决方案,如Aspera,它通过UDP提供加速数据传输,并正在Azure中与Azure媒体服务一起进行测试


我们也有一些工具可以帮助实现这一点,并利用Aspera的技术。

由于Windows Azure不支持磁盘装运,您最好使用支持并行上载的第三方应用程序(或编写自己的应用程序)。这样你仍然可以上传得更快。第三方应用程序(如Gladinet、Cloudberry)可用于上传数据,但我不确定如何配置它们以获得最大并行上传,从而实现最快的上传


如果您决定自己编写,这里是起点:

由于Windows Azure不支持磁盘装运,您最好使用支持并行上载的第三方应用程序(或编写自己的应用程序)。这样你仍然可以上传得更快。第三方应用程序(如Gladinet、Cloudberry)可用于上传数据,但我不确定如何配置它们以获得最大并行上传,从而实现最快的上传


如果你决定自己写,这里是一个起点:

可能不是你期望的答案,但你可以使用亚马逊的(这允许你给他们邮寄一个硬盘,他们会把它导入你的S3帐户)

要将数据传输到Windows Azure存储帐户,您可以利用1.7.1 SDK中的一个新功能:方法。此方法允许您以异步方式在特定url复制文件(您可以使用此方法将所有文件从S3复制到Azure存储帐户)


阅读以下博客文章,了解一个完整的工作示例:

可能不是您期望的答案,但您可以使用Amazon的(这允许您向他们发送HDD,他们会将其导入您的S3帐户)

要将数据传输到Windows Azure存储帐户,您可以利用1.7.1 SDK中的一个新功能:方法。此方法允许您以异步方式在特定url复制文件(您可以使用此方法将所有文件从S3复制到Azure存储帐户)


请阅读以下博客文章,了解一个完整的工作示例:

Microsoft azure storage powershell和azcopy都可以将数据批量上载到azure

对于azure storage powershell,您可以使用
ls-File-Recurse | Set-AzureStorageBlobContent-Container-upload

有关更多详细信息,请参阅


有关azcopy,您可以参考本文

windows azure存储powershell和azcopy都可以将数据批量上载到azure

对于azure storage powershell,您可以使用
ls-File-Recurse | Set-AzureStorageBlobContent-Container-upload

有关更多详细信息,请参阅


对于azcopy,您可以参考本文

我知道这对于OP来说有点太晚了,但是在Azure管理门户的存储下,选择您的存储实例,然后单击顶部的导入/导出链接。在该屏幕的底部,有一个“创建导入作业”链接和图标。此外,如果单击最右侧的蓝色帮助图标,它会显示以下内容:

在通过网络上载成本过高或不可行的情况下,您可以使用Windows Azure导入/导出服务将大量文件数据传输到Windows Azure Blob存储。您还可以使用导入/导出服务将驻留在Blob存储中的大量数据及时且经济高效地传输到本地安装。使用Windows Azure导入/导出服务将数据传输到Blob存储


要将一大组文件数据传输到Blob存储中,您可以将包含该数据的一个或多个硬盘驱动器发送到Microsoft数据中心,在那里您的数据将上载到您的存储帐户。同样,要从Blob存储导出数据,可以将空硬盘驱动器发送到Microsoft数据中心,在那里,存储帐户中的Blob数据将复制到硬盘驱动器,然后返回给您。在发送包含数据的驱动器之前,您需要加密驱动器上的数据;当Microsoft导出您的数据以发送给您时,数据也将在发货前进行加密。

我知道这对于OP来说有点太晚了,但在Azure管理门户的“存储”下,选择您的存储实例,然后单击顶部的“导入/导出”链接。在该屏幕的底部,有一个“创建导入作业”链接和图标。此外,如果单击最右侧的蓝色帮助图标,它会显示以下内容:

在通过网络上载成本过高或不可行的情况下,您可以使用Windows Azure导入/导出服务将大量文件数据传输到Windows Azure Blob存储。YouC