Ruby 将文件分块上传到HDFS_Ruby_Webhdfs

Ruby 将文件分块上传到HDFS

ruby

Ruby 将文件分块上传到HDFS,ruby,webhdfs,Ruby,Webhdfs,我想使用gem'webhdfs'将文件分块上传到HDFS。我在文档中看到有一个create方法，但我不确定如何使用它并成批上传一个大文件。有人试过这个吗？我想你不必自己动手。您可以传递一个文件句柄，并让库对其进行流式处理 file_IO_handle = File.open('/tmp/foo.bin', 'rb') # Straight from the documentation: client.create('/path/to/file', file_IO_handle, :overwri

我想使用gem'webhdfs'将文件分块上传到HDFS。我在文档中看到有一个create方法，但我不确定如何使用它并成批上传一个大文件。有人试过这个吗？

我想你不必自己动手。您可以传递一个文件句柄，并让库对其进行流式处理

file_IO_handle = File.open('/tmp/foo.bin', 'rb')
# Straight from the documentation:
client.create('/path/to/file', file_IO_handle, :overwrite => false, :permission => 0666)

在本例中，文件IO句柄是什么？只是任何文件对象，如

file.open（'/tmp/foo.bin'，'rb'）

我想更具体地说，在本例中rb是什么？r表示读取，b表示二进制模式。（只是为了澄清是否有其他人在这里绊倒）