Hadoop 如何使用PIG/HIVE/Hbase加载带有out文本限定符的数据？

我有一个CSV文件，其中包含文本限定符（“”）数据。我想使用不带文本限定符的PIG/Hive/Hbase将数据加载到hdfs中。请你帮忙

my file input.CSV
"Id","Name"
"1","Raju"
"2","Anitha"
"3","Rakesh"

我希望输出像：

Id,Name
1,Raju
2,Anitha
3,Rakesh

用猪的脚本试试这个

假设您的输入文件名为input.csv

1.首先使用copyfromlocal命令将此输入文件移动到HDFS。
2.运行下面的脚本

PigScript:
HDFS模式：

A = LOAD 'hdfs://<hostname>:<port>/user/test/input.csv' AS line;
B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT_ALL(line,'"(.*)","(.*)"')) AS (id:int,name:chararray);
STORE B INTO '/user/test/output' USING PigStorage(',');

输出：

A = LOAD 'input.csv' AS line;
B = FOREACH A GENERATE FLATTEN(REGEX_EXTRACT_ALL(line,'"(.*)","(.*)"')) AS (id:int,name:chararray);
STORE B INTO 'output' USING PigStorage(',');

Id,Name
1,Raju
2,Anitha
3,Rakesh

---

谢谢你的评论，Jayaraman！！！我将尝试使用此脚本。再次感谢你！！我试过上面的代码。。。然后它会收到如下错误消息：输入：未能从“hdfs:/Input.csv”输出读取数据：未能在“hdfs:/pigfresults”中生成结果。它看起来像是一些配置问题。您是否可以尝试以本地模式而不是hdfs运行pig脚本。创建一个输入文件“input.csv”和一个pig脚本文件“test.pig”。复制上述代码并将第一行单独更改为A=LOAD'input.csv'作为行；并在命令行“pig-x local test.pig”中执行pig脚本。在应答部分也更新了本地模式解决方案。运行pig脚本“pig-x local test.pig”并转到“output”文件夹，检查文件名中以“part*”开头的结果现在我有两列，所以使用了正则表达式，如“（.*）”、“（.*）”。假设我有3列，那么我应该再增加一列，比如“（.*）”、“（.*）”、“（.*）”，或者上面的公式可以正常工作。请澄清我的疑问。