Scala Spark是否从InputStream创建数据帧？_Scala_Apache Spark_Databricks

Scala Spark是否从InputStream创建数据帧？

scala apache-spark

Scala Spark是否从InputStream创建数据帧？,scala,apache-spark,databricks,Scala,Apache Spark,Databricks,我希望避免将整个流写入文件，然后将其加载到dataframe。正确的方法是什么？您可以检查，这说明您的问题可以通过使用SparkStreaming的SparkContext创建SparkSession的singleton实例来解决您应该通过上面的链接有更好的想法，dataframes是从streaming rddspark streaming创建的？@reactormank，此API在hdfs中获取路径，而不是流。您的InputStream是什么？使用REST API从远程服务器读取的流。

我希望避免将整个流写入文件，然后将其加载到dataframe。正确的方法是什么？

您可以检查，这说明您的问题可以通过使用

SparkStreaming

的

SparkContext

创建

SparkSession

的

singleton实例来解决
您应该通过上面的链接有更好的想法，dataframes
是从streaming rdd
spark streaming创建的？@reactormank，此API在hdfs中获取路径，而不是流。您的InputStream
是什么？使用REST API从远程服务器读取的流。