Hadoop apache spark中用于流式处理的文件类型是什么_Hadoop_Apache Spark

Hadoop apache spark中用于流式处理的文件类型是什么

hadoop apache-spark

Hadoop apache spark中用于流式处理的文件类型是什么,hadoop,apache-spark,Hadoop,Apache Spark,我想知道在apache Spark中加载数据所使用的文件类型是什么，例如（CSV、txt等）fileStream可以接受任何文件类型，只要您可以提供可以将其转换为记录的输入格式类。要成为有用的输入，输入应该是可拆分的，并且在不读取整个文件的情况下易于解析，但只要您可以接受性能损失，就不必这样做。顺便说一句，Hadoop标签并不是真正必要的，因为Spark可以在没有HDFS和Thread的情况下工作

我想知道在apache Spark中加载数据所使用的文件类型是什么，例如（CSV、txt等）

fileStream

可以接受任何文件类型，只要您可以提供可以将其转换为记录的输入格式类。要成为有用的输入，输入应该是可拆分的，并且在不读取整个文件的情况下易于解析，但只要您可以接受性能损失，就不必这样做。

顺便说一句，Hadoop标签并不是真正必要的，因为Spark可以在没有HDFS和Thread的情况下工作