Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/javascript/406.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Javascript 使用CasperJS将源代码转储到mongoDB中_Javascript_Mongodb_Casperjs - Fatal编程技术网

Javascript 使用CasperJS将源代码转储到mongoDB中

Javascript 使用CasperJS将源代码转储到mongoDB中,javascript,mongodb,casperjs,Javascript,Mongodb,Casperjs,如何在MongoDB上存储通过casperjs获取的数据?我在casperjs中有一个脚本,它从数百万个网站上抓取数据,并将每个网站的内容存储在一个单独的文件夹中。我现在意识到,我更应该将数据保存到MongoDB上,以便轻松执行CRUD操作。请提供帮助。db.webpages.insert({“renderedHTML”:“}) db.webpages.insert({"renderedHTML": "<escaped string/text>"}) 您可能需要存储其他元数据(例

如何在MongoDB上存储通过casperjs获取的数据?我在casperjs中有一个脚本,它从数百万个网站上抓取数据,并将每个网站的内容存储在一个单独的文件夹中。我现在意识到,我更应该将数据保存到MongoDB上,以便轻松执行CRUD操作。请提供帮助。

db.webpages.insert({“renderedHTML”:“})
db.webpages.insert({"renderedHTML": "<escaped string/text>"})
您可能需要存储其他元数据(例如,刮取的时间戳、URL等)

db.webpages.insert({“renderedHTML”:“})

您可能需要存储其他元数据(例如,刮取的时间戳、URL等)

如果您可以展示完整的示例,或者至少提供一些有关
db
db.webpages
来源的参考,这将非常有用。(我不认为CasperJS、PhantomJS或JavaScript中有
db
模块。)上面的命令演示了通过mongo客户端将数据插入到集合、网页中。您应该使用客户端驱动程序(例如NodeJS或pymongo)连接到MongoDB。您能详细介绍一下驱动程序吗?如果您能给出一个完整的示例,或者至少给出一些关于
db
db.webpages
来源的参考,这将非常有用。(我不认为CasperJS、PhantomJS或JavaScript中有
db
模块。)上面的命令演示了通过mongo客户端将数据插入到集合、网页中。您应该使用客户端驱动程序(例如NodeJS或pymongo)连接到MongoDB。您能详细介绍一下驱动程序吗?