Javascript 使用CasperJS将源代码转储到mongoDB中
如何在MongoDB上存储通过casperjs获取的数据?我在casperjs中有一个脚本,它从数百万个网站上抓取数据,并将每个网站的内容存储在一个单独的文件夹中。我现在意识到,我更应该将数据保存到MongoDB上,以便轻松执行CRUD操作。请提供帮助。Javascript 使用CasperJS将源代码转储到mongoDB中,javascript,mongodb,casperjs,Javascript,Mongodb,Casperjs,如何在MongoDB上存储通过casperjs获取的数据?我在casperjs中有一个脚本,它从数百万个网站上抓取数据,并将每个网站的内容存储在一个单独的文件夹中。我现在意识到,我更应该将数据保存到MongoDB上,以便轻松执行CRUD操作。请提供帮助。db.webpages.insert({“renderedHTML”:“}) db.webpages.insert({"renderedHTML": "<escaped string/text>"}) 您可能需要存储其他元数据(例
db.webpages.insert({“renderedHTML”:“})
db.webpages.insert({"renderedHTML": "<escaped string/text>"})
您可能需要存储其他元数据(例如,刮取的时间戳、URL等)db.webpages.insert({“renderedHTML”:“})
您可能需要存储其他元数据(例如,刮取的时间戳、URL等)如果您可以展示完整的示例,或者至少提供一些有关
db
和db.webpages
来源的参考,这将非常有用。(我不认为CasperJS、PhantomJS或JavaScript中有db
模块。)上面的命令演示了通过mongo客户端将数据插入到集合、网页中。您应该使用客户端驱动程序(例如NodeJS或pymongo)连接到MongoDB。您能详细介绍一下驱动程序吗?如果您能给出一个完整的示例,或者至少给出一些关于db
和db.webpages
来源的参考,这将非常有用。(我不认为CasperJS、PhantomJS或JavaScript中有db
模块。)上面的命令演示了通过mongo客户端将数据插入到集合、网页中。您应该使用客户端驱动程序(例如NodeJS或pymongo)连接到MongoDB。您能详细介绍一下驱动程序吗?