Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/lua/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hdfs 水槽-水槽为Maprfs。未写入的文件_Hdfs_Flume - Fatal编程技术网

Hdfs 水槽-水槽为Maprfs。未写入的文件

Hdfs 水槽-水槽为Maprfs。未写入的文件,hdfs,flume,Hdfs,Flume,我的源类型是spooldir,接收类型是hdfs。没有错误,但未复制文件 我完全了解复制数据的NFS装载功能。我正在学习flume,我想试试这个功能。一旦这是工作,我想尝试写数据使用log4j,avro作为源和hdfs作为接收器 非常感谢您的帮助 问候 马尼 #命名此代理的组件 maprfs-agent.sources=假脱机收集 maprfs-agent.sinks=maprfs write maprfs-agent.channels=内存通道 #描述/配置源 maprfs-agent.so

我的源类型是spooldir,接收类型是hdfs。没有错误,但未复制文件

我完全了解复制数据的NFS装载功能。我正在学习flume,我想试试这个功能。一旦这是工作,我想尝试写数据使用log4j,avro作为源和hdfs作为接收器

非常感谢您的帮助

问候 马尼

#命名此代理的组件
maprfs-agent.sources=假脱机收集
maprfs-agent.sinks=maprfs write
maprfs-agent.channels=内存通道
#描述/配置源
maprfs-agent.sources.spool-collect.type=spooldir
maprfs-agent.sources.spool-collect.spoolDir=/home/appdata/mani
maprfs-agent.sources.spool-collect.fileHeader=true
maprfs-agent.sources.spool-collect.bufferMaxLineLength=500
maprfs-agent.sources.spool-collect.bufferMaxLines=10000
maprfs-agent.sources.spool-collect.batchSize=100000
#描述/配置接收器
maprfs-agent.sinks.maprfs-write.type=hdfs
maprfs-agent.sinks.maprfs-write.hdfs.fileType=DataStream
maprfs-agent.sinks.maprfs-write.hdfs.path=maprfs:///sample.node.com/user/hive/test
maprfs-agent.sinks.maprfs-write.writeFormat=Text
maprfs-agent.sinks.maprfs-write.hdfs.proxyUser=root
maprfs-agent.sinks.maprfs-write.hdfs.kerberosPrincipal=mapr
maprfs-agent.sinks.maprfs-write.hdfs.kerberosKeytab=/opt/mapr/conf/flume.keytab
maprfs-agent.sinks.maprfs-write.hdfs.filePrefix=%{file}
maprfs-agent.sinks.maprfs-write.hdfs.fileSuffix=.csv
maprfs-agent.sinks.maprfs-write.hdfs.rollInterval=0
maprfs-agent.sinks.maprfs-write.hdfs.rollCount=0
maprfs-agent.sinks.maprfs-write.hdfs.rollSize=0
maprfs-agent.sinks.maprfs-write.hdfs.batchSize=100
maprfs-agent.sinks.maprfs-write.hdfs.idleTimeout=0
maprfs-agent.sinks.maprfs-write.hdfs.maxOpenFiles=5
#配置通道缓冲区
maprfs-agent.channels.memory-channel.type=内存
maprfs-agent.channels.memory-channel.capacity=1000
#将源和接收器绑定到通道
maprfs-agent.sources.spool-collect.channels=内存通道
maprfs-agent.sinks.maprfs-write.channel=内存通道