Flume-twitter-java.lang.OutOfMemoryError

我正在尝试将twitter消息输入hdfs。我没有收到错误消息，但仍然无法在hdfs中找到输出

这是我的conf文件：

    TwitterAgent.sources = Twitter
    TwitterAgent.channels = MemChannel
    TwitterAgent.sinks = hdfs
    TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
    TwitterAgent.sources.Twitter.channels = MemChannel
    TwitterAgent.sources.Twitter.consumerKey = ...
    TwitterAgent.sources.Twitter.consumerSecret = ...
    TwitterAgent.sources.Twitter.accessToken =  ...
    TwitterAgent.sources.Twitter.accessTokenSecret =  ...

    TwitterAgent.sources.Twitter.keywords = medicare, PacificSource, India, hadoop
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://localhost:9000/flumegrab/twitter/year=%Y/month=%m/day=%d
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 1000
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000
TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 10000
TwitterAgent.channels.MemChannel.transactionCapacity = 100
----------------------------------------------------------

# describe the channel
TwitterAgent.channels.MemChannel.type=memory
TwitterAgent.channels.MemChannel.capacity=10000
TwitterAgent.channels.MemChannel.transactionCapacity=100

---

在我在flume-env.sh中对这行进行了注释后，问题得到了解决

export JAVA_OPTS="-Xms100m -Xmx1000m -Dcom.sun.management.jmxremote"

内存设置在conf文件中：

    TwitterAgent.sources = Twitter
    TwitterAgent.channels = MemChannel
    TwitterAgent.sinks = hdfs
    TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
    TwitterAgent.sources.Twitter.channels = MemChannel
    TwitterAgent.sources.Twitter.consumerKey = ...
    TwitterAgent.sources.Twitter.consumerSecret = ...
    TwitterAgent.sources.Twitter.accessToken =  ...
    TwitterAgent.sources.Twitter.accessTokenSecret =  ...

    TwitterAgent.sources.Twitter.keywords = medicare, PacificSource, India, hadoop
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://localhost:9000/flumegrab/twitter/year=%Y/month=%m/day=%d
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 1000
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000
TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 10000
TwitterAgent.channels.MemChannel.transactionCapacity = 100
----------------------------------------------------------

# describe the channel
TwitterAgent.channels.MemChannel.type=memory
TwitterAgent.channels.MemChannel.capacity=10000
TwitterAgent.channels.MemChannel.transactionCapacity=100

---

在我在flume-env.sh中对这行进行了注释后，问题得到了解决

export JAVA_OPTS="-Xms100m -Xmx1000m -Dcom.sun.management.jmxremote"

内存设置在conf文件中：

    TwitterAgent.sources = Twitter
    TwitterAgent.channels = MemChannel
    TwitterAgent.sinks = hdfs
    TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource
    TwitterAgent.sources.Twitter.channels = MemChannel
    TwitterAgent.sources.Twitter.consumerKey = ...
    TwitterAgent.sources.Twitter.consumerSecret = ...
    TwitterAgent.sources.Twitter.accessToken =  ...
    TwitterAgent.sources.Twitter.accessTokenSecret =  ...

    TwitterAgent.sources.Twitter.keywords = medicare, PacificSource, India, hadoop
TwitterAgent.sinks.HDFS.type = hdfs
TwitterAgent.sinks.HDFS.channel = MemChannel
TwitterAgent.sinks.HDFS.hdfs.path = hdfs://localhost:9000/flumegrab/twitter/year=%Y/month=%m/day=%d
TwitterAgent.sinks.HDFS.hdfs.fileType = DataStream
TwitterAgent.sinks.HDFS.hdfs.writeFormat = Text
TwitterAgent.sinks.HDFS.hdfs.batchSize = 1000
TwitterAgent.sinks.HDFS.hdfs.rollSize = 0
TwitterAgent.sinks.HDFS.hdfs.rollCount = 10000
TwitterAgent.channels.MemChannel.type = memory
TwitterAgent.channels.MemChannel.capacity = 10000
TwitterAgent.channels.MemChannel.transactionCapacity = 100
----------------------------------------------------------

# describe the channel
TwitterAgent.channels.MemChannel.type=memory
TwitterAgent.channels.MemChannel.capacity=10000
TwitterAgent.channels.MemChannel.transactionCapacity=100

---

我知道OP已经解决了这个问题，但他的解决方案对我并没有多大帮助，我看到这个问题经常被人看到，所以我也将分享我的解决方案

---

问题是，没有足够的堆空间，我看到OP在他的env变量JAVA_OPTS中也在处理堆空间。我只是在回答这个问题时增加了maxsheap，我很好

我知道OP找到了答案，但他的解决方案对我帮助不大，我看到这个问题会不时被人看到，所以我也会分享我的解决方案

---

问题是，没有足够的堆空间，我看到OP在他的env变量JAVA_OPTS中也在处理堆空间。我只是在回答这个问题时增加了maxsheap，我很好

欢迎来到堆栈溢出！不幸的是，这个问题非常不清楚。请将其编辑为包含一个。告诉我们您正在尝试做什么，您希望代码做什么，以及会发生什么。有了这些信息，也许我们可以帮上忙。我正在尝试将twitter消息设置为hdfs。这是我的conf文件：好多了！如果您仍然得到异常，那么请向我们显示异常及其源代码。我仍然得到此异常：线程“Twitter4J异步调度程序[0]”java.lang.OutOfMemoryError中的异常：java.util.Arrays.copyOf中的java堆空间（Arrays.java:2367）在我在flume-env.sh export JAVA_OPTS=“-Xms100m-Xmx1000m-Dcom.sun.management.jmxremote”中对这一行进行注释后，问题得到了解决内存设置在conf文件中：#描述通道TwitterAgent.channels.MemChannel.type=memory TwitterAgent.channels.MemChannel.capacity=10000 TwitterAgent.channels.MemChannel.transactionCapacity=100欢迎使用堆栈溢出！不幸的是，这个问题非常不清楚。请将其编辑为包含一个。告诉我们您正在尝试做什么，您希望代码做什么，以及会发生什么。有了这些信息，也许我们可以帮上忙。我正在尝试将twitter消息设置为hdfs。这是我的conf文件：好多了！如果您仍然得到异常，那么请向我们显示异常及其源代码。我仍然得到此异常：线程“Twitter4J异步调度程序[0]”java.lang.OutOfMemoryError中的异常：java.util.Arrays.copyOf中的java堆空间（Arrays.java:2367）在我在flume-env.sh export JAVA_OPTS=“-Xms100m-Xmx1000m-Dcom.sun.management.jmxremote”中对这一行进行注释后，问题得到了解决内存设置在conf文件中：#描述通道TwitterAgent.channels.MemChannel.type=memory TwitterAgent.channels.MemChannel.capacity=10000 TwitterAgent.channels.MemChannel.transactionCapacity=100祝贺您自己解决了这个问题，并感谢您让我们知道您是如何解决的！祝贺你自己解决了这个问题，感谢你让我们知道你是如何解决的！