Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Twitter ApacheSpark推特流媒体_Twitter_Apache Spark_Twitter4j_Spark Streaming - Fatal编程技术网

Twitter ApacheSpark推特流媒体

Twitter ApacheSpark推特流媒体,twitter,apache-spark,twitter4j,spark-streaming,Twitter,Apache Spark,Twitter4j,Spark Streaming,我有一个应用程序,用户可以添加hashtag,这些hashtag将在Twitter上被跟踪,如果其他用户在应用程序上注册了Twitter帐户,也可以跟踪其他用户。这些功能是使用twitter4j实现的。然而,由于我正在重新设计应用程序,我想改进它并使用Apache Spark Twitter流媒体实现它,因此我有两个问题: 1) 是否可以使用我想要关注的用户twitter ID创建过滤器? 2) 由于应用程序使最终用户能够经常添加新的hashtag,所以我当前的实现方式是每次添加新的hashta

我有一个应用程序,用户可以添加hashtag,这些hashtag将在Twitter上被跟踪,如果其他用户在应用程序上注册了Twitter帐户,也可以跟踪其他用户。这些功能是使用twitter4j实现的。然而,由于我正在重新设计应用程序,我想改进它并使用Apache Spark Twitter流媒体实现它,因此我有两个问题:

1) 是否可以使用我想要关注的用户twitter ID创建过滤器? 2) 由于应用程序使最终用户能够经常添加新的hashtag,所以我当前的实现方式是每次添加新的hashtag时,都必须停止并再次初始化twitter流。有没有更有效的方法在不中断流的情况下添加新的hashtag,或者这是添加新hashtag的唯一方法

谢谢


Zoran

你的问题有很多答案,至少第二个答案是:不,没有其他办法。(例如)。至于第一个,这取决于你的应用程序,但从你的描述来看,我认为更容易使用。希望有帮助。谢谢你的回答。我担心没有解决办法。对于第一个问题,我在前面使用了Twitter4j版本4.0.1,可以使用您想要遵循的长[]个用户ID创建FilterQuery。Apache Spark Twitter流媒体使用Twitter4j版本3.0.3进行流媒体,我无法找到如何达到相同的功能。抱歉,我之前对数字(1)的评论没有多大意义。当然,如果您使用的是
FilterQuery
,那么就使用,它有一个参数
follow
。但是,我已经检查了3.0.3版,其中
FilterQuery
的参数较少,但是
follow
已经存在。你用哪种方法?如果使用
TwitterStream.filter
它应该可以工作。TwitterStream.filter工作正常。我很久以前就有了。然而,这种方法直接使用twitter4j库。我想要的是使用ApacheSpark推特流媒体。如果您想遵循关键字,流的初始化很简单:JavaDStream inputDStream=TwitterUtils.createStream(ctx,新的OAuthAuthorization(builder.build()),过滤器);然而,org.apache.spark.streaming.twitter.TwitterUtils并没有为长[]过滤器提供API,我也找不到任何实现此功能的示例或解释。