Apache spark 将数据导入Spark流媒体

嗨，我是spark的新手，我正在尝试使用Meetup的实现一个简单的spark流媒体应用程序

知道如何将流连接到Spark流吗？ 我正在尝试rawSocketStream，但不确定参数是什么（即端口）

---

谢谢

我想您可以使用socketTextStream来获取流：

让我们看一个例子：

import org.apache.spark._
import org.apache.spark.streaming._
import org.apache.spark.streaming.StreamingContext._

// Create a local StreamingContext with two working thread and batch interval of 1 second
val conf = new SparkConf().setMaster("local[2]").setAppName("meetup")
val ssc = new StreamingContext(conf, Seconds(1))
// Create a DStream that will connect to http://stream.meetup.com/2/rsvps:80
val lines = ssc.socketTextStream("http://stream.meetup.com/2/rsvps", 80)

---

我希望这能对您有所帮助。

这只是一个HTML页面，您需要访问原始流。@MariusSoutier是的，可以使用访问流。我想知道如何将该流导入Spark流。这不起作用。您将得到一个java.net.UnknownHostException。需要创建一个自定义接收器。以下是其中一个例子：