Hadoop Flume-使用Avro源和汇分层数据流

Hadoop Flume-使用Avro源和汇分层数据流,hadoop,flume,Hadoop,Flume,我正在尝试在不同机器上的两个代理之间使用Avro源/接收器建立一个简单的分层数据流 vm-host-01节点上名为agent的第一个代理具有netcat源、内存通道和avro接收器 vm-host-02节点上名为collector的第二个代理具有avro源、内存通道和hdfs接收器 这是第一个代理的配置 agent.sources=s1 agent.channels=c1 agent.sinks=k1 agent.sources.s1.type=netcat agent.sources.s1.

我正在尝试在不同机器上的两个代理之间使用Avro源/接收器建立一个简单的分层数据流

vm-host-01节点上名为agent的第一个代理具有netcat源、内存通道和avro接收器

vm-host-02节点上名为collector的第二个代理具有avro源、内存通道和hdfs接收器

这是第一个代理的配置

agent.sources=s1
agent.channels=c1
agent.sinks=k1

agent.sources.s1.type=netcat
agent.sources.s1.channels=c1
agent.sources.s1.bind=vm-host-01
agent.sources.s1.port=12345

agent.channels.c1.type=memory

agent.sinks.k1.type=avro
agent.sinks.k1.channel=c1
agent.sinks.k1.hostname=vm-host-02
agent.sinks.k1.port=42424
以下是第二台计算机上第二个代理收集器的配置:

collector.sources=av1
collector.channels=c1
collector.sinks=k1

collector.sources.av1.type=avro
collector.sources.av1.bind=vm-host-02
collector.sources.av1.port=42424
collector.sources.av1.channels=c1

collector.channels.c1.type=memory

collecor.sinks.k1.type=hdfs
collecor.sinks.k1.hdfs.path=/user/root/flume/mydata
collecor.sinks.k1.hdfs.fileType=DataStream
collecor.sinks.k1.hdfs.writeType=text
collecor.sinks.k1.hdfs.filePrefix=Hello
collecor.sinks.k1.hdfs.fileSuffix=.txt
collecor.sinks.k1.channel=c1
现在,当我telnet到第一个主机vm-host-01并输入一些字符串时,第一个代理的命令提示符甚至没有改变。命令也不会提示第二台主机

如果我编辑代理的配置并将其接收器更改为hdfs,我可以远程登录,输入一个字符串,查看命令提示符acknolwedge,然后将其写入hdfs


仅仅添加avro接收器似乎就可以禁止其netcat源接受输入

哎呀,我把collector错卖成collecor了