Apache spark Spark 2.0.0 twitter流媒体驱动程序不再可用

在从spark 1.6.2迁移到spark 2.0.0的过程中，出现了包org.apache.spark.streaming.twitter已被删除，twitter流媒体不再可用，也不再具有依赖性

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming-twitter_2.11</artifactId>
  <version>2.0.0</version>
</dependency>

org.apache.spark
spark-streaming-twitter_2.11
2.0.0

有人能建议如何在new spark中处理推特流吗？

在spark 2.0中，推特（以及其他一些）驱动程序支持已被删除

您可以在的“删除”部分看到：

清除 Spark 2.0中删除了以下功能：

• 使用频率较低的流媒体连接器，包括Twitter、Akka、， MQTT，ZeroMQ

它们已作为一个单独的文件包提取。可通过以下途径找到twitter扩展：

sbt：

马文：

<dependency>
  <groupId>org.apache.bahir</groupId>
  <artifactId>spark-streaming-twitter_2.11</artifactId>
  <version>2.0.0-preview</version>
</dependency>

---

谢谢你的重播。它在全局maven存储库中可用吗？因为我在中找不到它，并且在我的pom文件中也得到了错误：缺少工件org.spark项目：dstream-twitter_2.10:jar:0.1。0@IvanShulak我想很快就会有了。有一个公开的问题需要帮助。我已经更新了你的答案，并在你之前评论中的链接后添加了正确的mvn依赖项。@IvanShulak感谢Ivan的更新。根据研究结果修改了原始答案。您现在应该可以使用：“org.apache.bahir”%”spark-streaming-twitter_2.11“%”2.0.1

<dependency>
  <groupId>org.apache.bahir</groupId>
  <artifactId>spark-streaming-twitter_2.11</artifactId>
  <version>2.0.0-preview</version>
</dependency>

libraryDependencies += "org.apache.bahir" %% "spark-streaming-twitter" % "2.0.1"