来自Windows的rxHadoopCopyFromLocal

从Windows复制到远程HDFS的正确语法是什么

我正在尝试使用RStudio将文件从本地计算机复制到远程hadoop集群

rxHadoopCopyFromLocal("C:/path/to/file.csv", "/target/on/hdfs/")

这个扔

copyFromLocal '/path/to/file.csv': no such file or directory`

注意C://消失了

这种语法也失败了

rxHadoopCopyFromLocal("C:\\path\\to\\file.csv", "/target/on/hdfs/")

错误地

-copyFromLocal: Can not create a Path from a null string

---

这是一个常见的错误

事实证明，rxHadoopCopyFromLocal命令是hdfs-copyFromLocal的包装器。它所做的只是从本地文件系统复制到hdfs目标

在本例中，rxSetComputeContextremotehost被设置为远程群集。在远程计算机上，没有C:\path\to\file.csv

这里有几种方法可以将文件放到那里

为远程hdfs群集配置本地hdfs-site.xml

确保本地计算机上安装了hadoop工具 编辑本地hdfs-site.xml以指向远程群集 确保rxSetComputeContextlocal 运行rxhadoopcopyfromlocc:\local\path\to\file.csv，/target/on/hdfs/ SCP与远程计算上下文

使用scp C:\local\path\to\file.csv将文件复制到远程计算机user@remotehost：/tmp 确保rxSetComputeContextremotehost 运行rxHadoopCopyFromLocal/tmp/file.csv、/target/on/hdfs/ 现在支持HDFS中的文件。您可以从本机文件系统上载文件，如下所示；这可以从边缘节点和远程客户端执行

hdfs_upload("c\\path\\to\\file.csv", "/target/on/hdfs")

如果您有一个要上载的数据集R对象，还可以使用标准的dplyr copy_to谓词。这将把数据导入Xdf文件并上传，返回一个指向上传文件的RxXdfData数据源

txt <- RxTextData("file.csv")
hd <- RxHdfsFileSystem()
hdfs_xdf <- copy_to(hd, txt, name="uploaded_xdf")

MRS 9.1还具有rxHadoopCopyFromClient，用于从客户端复制到远程集群。但不确定它是否在早期版本中。