Fatal编程技术网
  • powershell/
  • Powershell 我们如何复制Azure Data Lake存储文件夹中的任何文件

Powershell 我们如何复制Azure Data Lake存储文件夹中的任何文件

powershell azure

Powershell 我们如何复制Azure Data Lake存储文件夹中的任何文件,powershell,azure,azure-data-lake,u-sql,Powershell,Azure,Azure Data Lake,U Sql,我们已经有了Move AzureRmDataLakeStoreItem，它将在Azure datalake内的文件夹之间移动文件。我所寻求的是在不影响原始文件的情况下复制datalake中的文件 我知道的可能性是—— 使用USQL从源文件中提取数据，然后输出到目标文件-但我正在尝试复制所有类型的文件（.gz、.txt、.info、.exe、.msi），我不确定USQL是否可以帮助我处理.gz或.exe或.msi文件 使用数据工厂将数据从数据库存储复制到 所以，我的问题是，我们是否还有其他可以在A

我们已经有了Move AzureRmDataLakeStoreItem，它将在Azure datalake内的文件夹之间移动文件。我所寻求的是在不影响原始文件的情况下复制datalake中的文件

我知道的可能性是——

  • 使用
    USQL
    从源文件中
    提取
    数据，然后
    输出
    到目标文件-但我正在尝试复制所有类型的文件（.gz、.txt、.info、.exe、.msi），我不确定
    USQL
    是否可以帮助我处理.gz或.exe或.msi文件
  • 使用
    数据工厂
    将数据从
    数据库存储复制到
    • 所以，我的问题是，我们是否还有其他可以在Azure Data Lake Store中执行文件拷贝的方法？

    您还有其他几种选择

  • 在HDI集群上运行distcp-类似于此处提供的说明
  • 如果要复制有限数量的数据（比如10-100 GB），请使用adlcopy-
    • 这够了吗？或者您希望Azure Data Lake Store通过其REST API提供本机支持吗

    谢谢， 萨钦谢斯
    Azure Data Lake的项目经理。

    谢谢@Sachin-让我浏览一下文章并探索可能性。如果我需要更多的信息，如果你同意的话，我可能会反驳你：另一个考虑的方法是，也许不要复制你的文件那么多？您可以将数据放入lake“raw”或暂存区域，然后该文件的任何其他版本都应该是以某种方式进行细化、聚合、清理、增强或处理的，而不是直接的重复。