如何将174 GB的数据放入我的Azure表存储

如何将174 GB的数据放入我的Azure表存储,azure,azure-storage,azure-table-storage,Azure,Azure Storage,Azure Table Storage,我需要174 GB的XML文件才能进入Azure表存储,最好的方法是什么?上传后,应解析XML文件,并将其内容放入Azure计算实例上my Azure table storage的不同表中。这是大量数据。如今,将内容上传到WindowsAzure的唯一方法是通过HTTP上传。通过大多数网络连接上传174GB的数据需要很长时间 也就是说,我建议将XML上载到blob存储中,然后运行代码(以工作者角色)从blob存储中提取XML,对其进行解析,并将其写入表中。换句话说,使用原始XML进行上传,并将其

我需要174 GB的XML文件才能进入Azure表存储,最好的方法是什么?上传后,应解析XML文件,并将其内容放入Azure计算实例上my Azure table storage的不同表中。

这是大量数据。如今,将内容上传到WindowsAzure的唯一方法是通过HTTP上传。通过大多数网络连接上传174GB的数据需要很长时间


也就是说,我建议将XML上载到blob存储中,然后运行代码(以工作者角色)从blob存储中提取XML,对其进行解析,并将其写入表中。换句话说,使用原始XML进行上传,并将其转换为云中的表,在云中延迟低,带宽高。

我将压缩它们并将文件存储在blob存储中。从那里,我将把文件拉入一个工作者角色,并进行实际的插入。要记住的事情:

  • Windows Azure的带宽是免费的,所以上传blob只需花费时间
  • 存储事务不是免费的,所以您应该尽可能使用批插入(相同的表、相同的分区键)。100万张插页将是1美元
  • 您将在Windows Azure中获得最快的性能。在实例之间并行下载文件(使用租约跟踪)并进行插入

  • 在您的vm实例中可能会使用Azure Drive。您将把文件上传到vm,然后再上传到Azuredrive。

    Doh,同时发布。好建议谢谢我也会将文件压缩成一个,但我只有一台PC小型实例,磁盘空间为225 GB,对于一次大的解压缩来说太小了。我也会将文件压缩成一个,但我只有一台PC小型实例,磁盘空间为225 GB,对于一次大的解压缩来说太小了。感谢批量插入的想法,这将节省我的钱:)对不起,我不是有意要压缩成一个文件。我的意思是压缩每一个并上传,这样你以后就可以并行处理它们了。