Javascript 使用bash在单个json文件中连接数百万个xml文件
我想将目录树中的250万个小型xml文件合并到一个大型json文件中,我尝试使用bash和Javascript 使用bash在单个json文件中连接数百万个xml文件,javascript,python,json,xml,bash,Javascript,Python,Json,Xml,Bash,我想将目录树中的250万个小型xml文件合并到一个大型json文件中,我尝试使用bash和find以及xml2json实用程序来实现这一点 我是bash的新手,没有做过任何复杂的事情。我的直觉是这样的(但这离工作还有很长的路要走): 问题1:我不知道如何在-exec中使用xml2json实用程序 find . -exec /usr/bin/xml2json < {} 我怎样才能让它工作 问题2:连接文件最有效的方法是什么?显然,仅仅使用cat不会创建格式良好的json文件,但是我可以在
find
以及xml2json
实用程序来实现这一点
我是bash的新手,没有做过任何复杂的事情。我的直觉是这样的(但这离工作还有很长的路要走):
问题1:我不知道如何在-exec
中使用xml2json实用程序
find . -exec /usr/bin/xml2json < {}
我怎样才能让它工作
问题2:连接文件最有效的方法是什么?显然,仅仅使用cat
不会创建格式良好的json文件,但是我可以在开始和结束处用括号连接起来,并在两者之间加逗号吗?或者我应该使用像jq
的-s
?我需要流式处理还是并行处理
如果事实证明bash不适合这样做,那么JavaScript、R或Python中的高效替代方案也会很有用。谢谢。
xml2json
是如何工作的?如果您使用xml2json example.xml
它是在当前目录中创建example.json
,还是将json代码输出到stdout?您必须明确使用
操作符,如下所示:$xml2jsonoutput.json
javascript源代码是如何工作的?如果您使用xml2json example.xml
它是在当前目录中创建example.json
,还是将json代码输出到stdout?您必须明确使用
操作符,如下所示:$xml2jsonoutput.json
javascript源代码是。
find . -exec /usr/bin/xml2json < {}
find . -exec /usr/bin/xml2json {}