Apache spark spark streaming标准输入/从unix实用程序输出读取
我正在尝试构建一个Spark流应用程序，它读取unix实用程序的输出流。从stdin创建数据流的最佳方法是什么？如何将外部实用程序的流输出重定向/导入Spark Streaming数据流？我使用Scala，我意识到rdd.pipe（）可能没有帮助，因为它首先与读取rdd的命令一起工作。谢谢Apache spark spark streaming标准输入/从unix实用程序输出读取,apache-spark,Apache Spark,我正在尝试构建一个Spark流应用程序，它读取unix实用程序的输出流。从stdin创建数据流的最佳方法是什么？如何将外部实用程序的流输出重定向/导入Spark Streaming数据流？我使用Scala，我意识到rdd.pipe（）可能没有帮助，因为它首先与读取rdd的命令一起工作。谢谢 我最初的问题已发布到Spark用户的邮件列表中：您可以在linux中使用netcat命令。通过管道将程序输出传输到netcat /您的可执行文件| nc-l 然后可以使用相同的端口号创建数据流 ssc.soc
我最初的问题已发布到Spark用户的邮件列表中：您可以在linux中使用netcat命令。通过管道将程序输出传输到netcat
/您的可执行文件| nc-lssc.socketTextStream（cassandraHost，portNum）