Node.js 从节点启动Casper并将其传递给JSON_Node.js_Casperjs

Node.js 从节点启动Casper并将其传递给JSON

node.js

Node.js 从节点启动Casper并将其传递给JSON,node.js,casperjs,Node.js,Casperjs,我正在尝试一个网站从一个CMS到另一个CMS的程序传输，两者的API要么已损坏，要么根本不存在。直接在数据库中翻找似乎很复杂，所以我需要从一个站点抓取数据并将其输入另一个站点的管理界面我的原型使用JSDOM进行刮取，使用Casper填充表单。JSDOM用于scraping，因为它比Casper快得多（对我来说很重要，因为我的硬件很旧，我可能希望经常运行端到端测试。此外，我希望能够在scrape中执行正常的节点操作。） Casper有自己的流程（我不能让幽灵工作）。我对进程间通信一无所知，但从节

我正在尝试一个网站从一个CMS到另一个CMS的程序传输，两者的API要么已损坏，要么根本不存在。直接在数据库中翻找似乎很复杂，所以我需要从一个站点抓取数据并将其输入另一个站点的管理界面

我的原型使用JSDOM进行刮取，使用Casper填充表单。JSDOM用于scraping，因为它比Casper快得多（对我来说很重要，因为我的硬件很旧，我可能希望经常运行端到端测试。此外，我希望能够在scrape中执行正常的节点操作。）

Casper有自己的流程（我不能让幽灵工作）。我对进程间通信一无所知，但从节点文档复制了一个

spawn（）

示例。因此，一旦刮取完成，Node将启动Casper

刮取例程最终将生成大量JSON。要将此消息传递给Casper、ATM和我的原型（只在几个示例页面上工作），我只是将JSON作为命令行参数传递给子流程

希望这会很好，因为运行

xargs--show limits

可以提供：

Your environment variables take up 2914 bytes
POSIX upper limit on argument length (this system): 2092190
POSIX smallest allowable upper limit on argument length (all systems): 4096
Maximum length of command we could actually use: 2089276
Size of command buffer we are actually using: 131072
Maximum parallelism (--max-procs must be no greater): 2147483647

所以我想我对JSON字符串有大约两百万个字符的限制，我希望这远远超过我所需要的

当我扩展到处理大量JSON数据时，是否有任何东西可能会妨碍我的工作？（很难说会有多少）