MongoDB:使用mongoimport插入文档时出错_Mongodb

MongoDB:使用mongoimport插入文档时出错

mongodb

MongoDB:使用mongoimport插入文档时出错,mongodb,Mongodb,我正在尝试使用mongoimport将一个巨大的（~831M）文件插入mongo集合 /Library/mongodb/bin/mongoimport --port 12345 -d staging -c collection < out.all.1 在一些例子中，我发现了一些奇怪的角色 'CustomerCity': u'Wall \xa0' 'CustomerCity': u'La Ca\xc3\xb1ada Flintridge' 'CustomerCity': u'La Ca\x

我正在尝试使用mongoimport将一个巨大的（~831M）文件插入mongo集合

/Library/mongodb/bin/mongoimport --port 12345 -d staging -c collection < out.all.1

在一些例子中，我发现了一些奇怪的角色

'CustomerCity': u'Wall \xa0'
'CustomerCity': u'La Ca\xc3\xb1ada Flintridge'
'CustomerCity': u'La Ca\xf1ada Flintridge'

如何解决这些问题

谢谢

我遇到了一个类似的问题，mongoimport在我要求导入的平面文件中给出了关于非UTF8字符的错误。这使我尝试通过unix命令行上的iconv将源数据文件放入“更正”非UTF-8字符，因此：

iconv -f ISO-8859-1 -t UTF-8 inputfile.txt > outputfile.txt

这为我解决了问题。我想知道这种方法是否对你有帮助？虽然您看到的错误有所不同，但正是奇怪的字符打乱了JSON解析，不是吗

然而，如果您自己生成输出数据，您会想知道这些奇怪的字符是如何在您的输出数据中结束的。也许您可以在生成输出的代码中进行筛选？

几个问题：您使用哪个版本的mongo进行导入？哪个版本捕获了数据？什么驱动程序（类型和版本）？任何框架，例如mongoose、mongoid？我使用的是mongodb shell，版本1.8.1，数据通过python程序计算并使用mongoimport插入，文件结构是基于JSON的文档

iconv -f ISO-8859-1 -t UTF-8 inputfile.txt > outputfile.txt