如何使用Spark Streaming Java API将twitter推文写入HDFS SparkConf conf=new SparkConf（）.setMaster（“local[2]”）。setAppName（“SparkTwitterHelloWorldExample”）； JavaStreamingContext jssc=新的JavaStreamingContext（conf，新的持续时间（60000））； set属性（“twitter4j.oauth.consumerKey”，consumerKey）； System.setProperty（“twitter4j.oauth.consumerSecret”，consumerSecret）； setProperty（“twitter4j.oauth.accessToken”，accessToken）； set属性（“twitter4j.oauth.accessTokenSecret”，accessTokenSecret）； 字符串[]过滤器=新字符串[]{“Narendra Modi”}； JavaReceiverInputDStream twitterStream=TwitterUtils.createStream（jssc，过滤器）； //无过滤器：输出所有推文的文本 JavaDStream status=twitterStream.map( 新函数（）{ 公共字符串调用（状态状态）{return Status.getText（）；} } ); statuses.print（）； 状态。saveAsHadoopFiles（“hdfs://HadoopSystem-150s:8020/Spark_Twitter_out“，”txt“）；

我能够获取Twitter推文，但在向HDFS写入时出错

有人能帮我用Java将推文保存到HDFS吗

以下是我得到的错误：

[错误]无法执行目标 插件：maven编译器插件：3.1：编译 项目SparkTwitterHelloWorld上的（默认编译）示例： 编译失败[错误] /home/Hadoop/Mani/SparkTwitterHelloWorldExample master/src/main/java/de/michaelgoettsche/SparkTwitterHelloWorldExample.java:[58,17] 找不到符号[错误]符号：方法 saveAsHadoopFiles（java.lang.String，java.lang.String）[错误]位置： 班 org.apache.spark.streaming.api.java.JavaDStream

---

您需要使用

saveAsTextFile（）

方法。Hadoop输出格式仅适用于

JavaPairDStream

（它需要键和值）

解决办法是：

status.dstream（）.saveAsTextFiles（前缀、后缀）；

请帮助我使用spark Streaming将推文保存到HDFS谢谢vanekjar，使用status.dstream（）.saveAsTextFiles（“hdfs://HadoopSystem-150s:8020/hadoop_Twitter/tweets“，”txt“）；iam正在向HDFS文件夹写入信息，在这里，每条推文都附加了时间和写入信息。i、 ehadoop fs-ls/hadoop_Twitter/tweets-1442932338000.txt-rw-r--r--1 hadoop超级组85 2015-09-22 20:02/hadoop_Twitter/tweets-1442932338000.txt/part-00000和hadoop_Twitter/tweets-1442932338000.txt/part-00001等。。有没有办法写入单个文件？我不确定是否要从Spark Streaming附加一个文件。但您可以使用

FileUtil.copyMerge（）

将给定目录中的所有文件合并到单个文件。嘿，它也适用于本地文件系统吗？我也在试着做同样的事情，但这不是写作。。。你能帮忙吗？@Raj:

SparkConf conf = new SparkConf().setMaster("local[2]").setAppName("SparkTwitterHelloWorldExample");
JavaStreamingContext jssc = new JavaStreamingContext(conf, new Duration(60000));
System.setProperty("twitter4j.oauth.consumerKey", consumerKey);
System.setProperty("twitter4j.oauth.consumerSecret", consumerSecret);
System.setProperty("twitter4j.oauth.accessToken", accessToken);
System.setProperty("twitter4j.oauth.accessTokenSecret", accessTokenSecret);
String[] filters = new String[] {"Narendra Modi"};
JavaReceiverInputDStream<Status> twitterStream = TwitterUtils.createStream(jssc,filters);

// Without filter: Output text of all tweets
JavaDStream<String> statuses = twitterStream.map(
        new Function<Status, String>() {
            public String call(Status status) { return status.getText(); }
        }
);
statuses.print();
statuses.saveAsHadoopFiles("hdfs://HadoopSystem-150s:8020/Spark_Twitter_out","txt");