Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
hadoop mapreduce如何从CSV文件获取数据输入?_Csv_Hadoop_Input_Split_Mapreduce - Fatal编程技术网

hadoop mapreduce如何从CSV文件获取数据输入?

hadoop mapreduce如何从CSV文件获取数据输入?,csv,hadoop,input,split,mapreduce,Csv,Hadoop,Input,Split,Mapreduce,我想实现hadoop mapreduce,并使用csv文件作为输入。所以,我想问,hadoop是否提供了任何方法来获取csv文件的值,或者我们只是使用Java Split String函数来实现 谢谢大家……默认情况下,Hadoop使用一个文本输入读取器,从输入文件逐行向映射器提供信息。映射器中的键是读取的行数。但是要小心CSV文件,因为单个列/字段可能包含换行符。您可能需要寻找如下CSV输入读取器: 但是,您必须在代码中拆分行。您的意思是字段上可以有一个换行符,对吗?但如果我用的是CSV输入

我想实现hadoop mapreduce,并使用csv文件作为输入。所以,我想问,hadoop是否提供了任何方法来获取csv文件的值,或者我们只是使用Java Split String函数来实现


谢谢大家……

默认情况下,Hadoop使用一个文本输入读取器,从输入文件逐行向映射器提供信息。映射器中的键是读取的行数。但是要小心CSV文件,因为单个列/字段可能包含换行符。您可能需要寻找如下CSV输入读取器:


但是,您必须在代码中拆分行。

您的意思是字段上可以有一个换行符,对吗?但如果我用的是CSV输入阅读器,这个问题就可以解决了?你的意思是,在一个字段上可以有一个换行符,对吗?但如果我使用的是CSV输入阅读器,这个问题可以解决吗?如何使用hadoop驱动程序类的CSV输入?有时列值中可能包含换行符、回车符等字符。要使用CSV格式,只需在驱动程序类中使用setInputFormatClass函数。