Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark csv文件的架构_Apache Spark_Apache Spark Sql - Fatal编程技术网

Apache spark csv文件的架构

Apache spark csv文件的架构,apache-spark,apache-spark-sql,Apache Spark,Apache Spark Sql,我有一个文本文件有一列, 我有另一个csv文件,其中包含数据。 我需要从文本文件打印模式,并将其与csv文件合并。 如果不使用“StructType”或“Case Class”,这是否会自动实现,就像它只读取文本文件、复制整个列并将其转置并粘贴为该CSV文件的第一行一样 文本文件 Column Header Name Age Roll Number Section Fred 25 123 A Eyaz 26 456 B CSV文件 Column Header Name Age Roll Nu

我有一个文本文件有一列, 我有另一个csv文件,其中包含数据。 我需要从文本文件打印模式,并将其与csv文件合并。 如果不使用“StructType”或“Case Class”,这是否会自动实现,就像它只读取文本文件、复制整个列并将其转置并粘贴为该CSV文件的第一行一样

文本文件

Column Header
Name
Age
Roll Number
Section
Fred 25 123 A
Eyaz 26 456 B
CSV文件

Column Header
Name
Age
Roll Number
Section
Fred 25 123 A
Eyaz 26 456 B
O/p

Name  Age  Roll_Number Section
Fred  25     123          A
Eyaz  26     456          B
任何帮助都将不胜感激

谢谢你的时间

val dd=y.collect() val schema=StructType(dd.map(fieldName=>StructField(fieldName,StringType,nullable=true)))
println(schema)

您好!你试过什么吗?是的,我在问题中写道。但是除了使用structtype手动创建模式之外,我需要读取该文本文件并将其合并为csv文件中的第一行,该文件中的数据如图所示。添加一个示例请文本文件列标题名称年龄卷编号部分csv文件aman 25 123 a Eyaz 27 456 b o/p名称年龄卷编号部分aman 25 123 a Eyaz 27 456 bCan请在编辑问题时添加信息,不要在评论中添加。