Java 在hadoop中处理非结构化和多行CSV_Java_Csv_Hadoop_Mapreduce_Opencsv

Java 在hadoop中处理非结构化和多行CSV

java csv hadoop mapreduce

Java 在hadoop中处理非结构化和多行CSV,java,csv,hadoop,mapreduce,opencsv,Java,Csv,Hadoop,Mapreduce,Opencsv,我想在Hadoop Mapreduce中处理数据，我有以下格式的数据，带有非结构化、多行和未终止的引号 2/1/2013 5:16,Edward Felton,2,8/1/2012 3:57,Working on all the digital elements for our big event in Sydney in a couple of weeks... for more visit http://www.xy.com/au/geworks/,324005862,2,18200

我想在Hadoop Mapreduce中处理数据，我有以下格式的数据，带有非结构化、多行和未终止的引号

    2/1/2013 5:16,Edward Felton,2,8/1/2012 3:57,Working on all the digital elements for our big event in Sydney in a couple of weeks... for more visit http://www.xy.com/au/geworks/,324005862,2,18200695
    12/28/2012 19:28,Laura McCullum,2,7/26/2012 18:03,"The Day You Give Them Jive  <br>
<a href="http://youtu.be/qfq9LVD2Qr4" > http://youtu.be/qfq9LVD2Qr4 <br>
 <br>
'Like' if you have always wanted to destroy a cube!",502114904,2,18400313
    11/21/2012 13:35,Timothy Widdowson,4,8/17/2012 12:38,"Can a table really replace a laptop...

With the new Windows tablets on the horizon and the Apple / Android devices out there I have been wondering if it is possible to really work with just and tablet. 

My mission:
-For one whole week I will be working with just my iPad. 

Hardware:
-Apple iPad
-Apple keyboard.
-Apple to HDMI connector.
-HDMI capable monitor.
- InCase iPad stand.

:-)",105001439,1,19301609
    3/15/2013 13:43,Mary Romeo,3,8/16/2012 22:23,"HOW TO SHORTEN LONG LINKS YOU'RE POSTING <br>
The attached image describes how to shorten a long url before posting it.  In 4 easy steps the 3-4 line urls can become a tiny link to post.",213022329,1,19901561
    11/30/2012 2:17,Lu Yin Zhong,3,8/29/2012 1:29,working on 2013 comms plan...need big ideas!!,302014449,2,20300666
    3/5/2013 22:15,Tim Steigert,12,8/29/2012 15:36,"Looking up 1024 email addresses. Manually? Probably a day! Doing it with SSOget, the add-in for  #[&quot;excel&quot;]? 5 minutes! Effort saved and  #[&quot;productivity&quot;] gained? Priceless! Now go get it and enjoy it for yourself! :)<br>http://sc.xy.com/*SSOget @@@data@@@{&quot;image&quot;:&quot;&quot;,&quot;title&quot;:&quot;&quot;}",100011871,11,20400713
    11/1/2012 20:46,Pranay Jain,2,8/30/2012 14:26,Do people agree with the iCloud restrictions that Airwatch will put on Personal iOS devices that have email?,212065316,0,20700913
    11/9/2012 18:32,Monica Sharma,5,9/7/2012 11:42,hhghghghghgh hg h gh gh gh gh gh gh ghghghghgghhhghghghghgh hg h gh gh gh gh gh gh ghghghghgghhhghghghghgh hg h gh gh gh gh gh gh ghghghghgghhhghghghghgh hg h gh gh gh gh gh gh ghghghghgghhhghghghghgh hg h gh gh gh gh gh gh ghghghghgghhhghghghghgh hg h gh gh gh gh gh gh ghghghghgghhhghghghghgh hg h gh gh gh gh gh gh ghghghghgghhhghghghghgh hg h gh gh gh gh gh gh ghghghghgghhhghghghghgh hg h gh gh,502000192,5,21400516

2/1/2013 5:16，Edward Felton，2,8/1/2012 3:57，在几周内为我们在悉尼的大型活动制作所有数字元素。。。更多访问http://www.xy.com/au/geworks/,324005862,2,18200695
2012年12月28日19:28，Laura McCullum，2012年2,7月26日18:03，“你给他们摇摆的那一天

http://youtu.be/qfq9LVD2Qr4 



比如“如果你一直想破坏一个立方体！”，5021114904，218400313
11/21/2012 13:35，Timothy Widdowson，4,8/17/2012 12:38，“桌子真的能代替笔记本电脑吗。。。
随着新的Windows平板电脑的出现和苹果/安卓设备的出现，我一直在想，是否有可能真正使用just和平板电脑。
我的使命：
-整整一周，我将只使用我的iPad。
硬件：
-苹果iPad
-苹果键盘。
-苹果到HDMI接口。
-支持HDMI的显示器。
-以防iPad支架。
:-)",105001439,1,19301609
2013年3月15日13:43，玛丽·罗密欧，3,8/16/2012 22:23，“如何缩短您发布的长链接

所附图片描述了如何在发布前缩短长url。通过4个简单步骤，3-4行url可以成为发布的小链接。”，213022329,119901561
2012年11月30日2:17，吕寅忠，3,8/29/2012年1:29，正在制定2013年通信计划……需要大创意！！，302014449,2,20300666
2013年3月5日22:15，Tim Steigert，12,8/29/2012 15:36，“手动查找1024个电子邮件地址？可能一天！使用SSOget执行此操作，#[“excel”]的外接程序？5分钟！节省的精力和获得的#[“生产力”]是无价的！现在自己去获取并享受吧！：
http://sc.xy.com/*SSOget@@@data@@{“图像”：“标题”：“}”，100011871,11,20400713
2012年11月1日20:46，Pranay Jain，2012年8月30日2:26，人们是否同意Airwatch将对包含电子邮件的个人iOS设备实施的iCloud限制？212065316，020700913
2012年11月9日18:32，莫妮卡·夏尔玛，2012年5月9日7:42，GHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGHGH

请给我提供代码片段如何处理提到的数据？

提前谢谢

由于您要处理多行数据，因此无法使用简单的

TextInputFormat

访问数据。因此，您需要为CSV文件使用自定义的

InputFormat

目前，Hadoop中没有内置的处理多行CSV文件的方法（请参阅），但幸运的是，github上有一些代码，您可以尝试：

就未终止的报价而言，可能需要首先对数据进行预处理和清理。一个简单的规则是，如果引号前后没有分隔符（

“

”），则对引号进行转义：

转义：
```
a“b
```
=>
```
a\“b
```
保持不变：
```
a；“b
```
和
```
a”b
```

另一个选项是更正产生无效CSV的应用程序，以正确的方式转义数据。

“过程”可能意味着很多事情。您正在尝试做什么，您尝试过什么？