多个flume twitter代理

多个flume twitter代理,twitter,hadoop,flume,Twitter,Hadoop,Flume,我正在学习hadoop、flume等,我开始的一个项目是情绪分析,这很好,但现在我试图通过收集多组数据来扩展,这是我的flume.conf: TwitterAgent.sources = Twitter TwitterAgent.channels = MemChannel TwitterAgent.sinks = HDFS HDFS2 TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.Twi

我正在学习hadoop、flume等,我开始的一个项目是情绪分析,这很好,但现在我试图通过收集多组数据来扩展,这是我的flume.conf:

    TwitterAgent.sources = Twitter
    TwitterAgent.channels = MemChannel
    TwitterAgent.sinks = HDFS HDFS2
    TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
    TwitterAgent.sources.Twitter.channels = MemChannel
    TwitterAgent.sources.Twitter.consumerKey = xxx
    TwitterAgent.sources.Twitter.consumerSecret = xxxx
    TwitterAgent.sources.Twitter.accessToken = xxx
    TwitterAgent.sources.Twitter.accessTokenSecret = xxxx
    TwitterAgent.sources.Twitter.keywords = bbc
    TwitterAgent.sinks.HDFS.channel = MemChannel
    TwitterAgent.sinks.HDFS.type = hdfs
    TwitterAgent.sinks.HDFS.hdfs.path = hdfs://xxx:8020/user/flume/tweets/
    TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
    TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
    TwitterAgent.sinks.HDFS.hdfs.batchSize = 1000
    TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
    TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000
    TwitterAgent.channels.MemChannel.type = memory
    TwitterAgent.channels.MemChannel.capacity = 10000
    TwitterAgent.channels.MemChannel.transactionCapacity = 100
我希望实现的是将所有关于bbc的推文放在上述位置,同时使用以下配置将关于利物浦的推文放在单独的文件夹中:

    TwitterAgent.sources.Twitter.keywords = liverpool
    TwitterAgent.sinks.HDFS2.channel = MemChannel
    TwitterAgent.sinks.HDFS2.type = hdfs
    TwitterAgent.sinks.HDFS2.hdfs.path = hdfs://xxx:8020/user/flume/tweets/liverpool/
    TwitterAgent.sinks.HDFS2.hdfs.fileType = DataStream
    TwitterAgent.sinks.HDFS2.hdfs.writeFormat = Text
    TwitterAgent.sinks.HDFS2.hdfs.batchSize = 1000
    TwitterAgent.sinks.HDFS2.hdfs.rollSize = 0
    TwitterAgent.sinks.HDFS2.hdfs.rollCount = 10000
    TwitterAgent.channels.MemChannel2.type = memory
    TwitterAgent.channels.MemChannel2.capacity = 10000
    TwitterAgent.channels.MemChannel2.transactionCapacity = 10

这不起作用,我也不明白为什么,有人能给我指出正确的方向吗?

这个答案可能有点晚了,但我认为它不起作用,因为你只能使用同一个应用程序打开一个到Twitter流媒体API的连接

@库里克·阿恩·罗曼·库里克 您正在使用哪个流媒体端点

对于一般流,您应该只从同一个流建立一个连接 知识产权。对于userstreams,来自同一IP的一个或两个连接。场地 流,支持多个连接(请注意,站点流是 仍处于有限测试阶段)


您看到的错误是什么?您可能已经看过了,通常我只看到一个代理正在运行,所有数据都将发送到一个文件夹请在您的答案中从链接中发布相关部分,如果链接无效或被移动,那么此答案将不再有用。