Web crawler 使用提交或输入进行web爬网

Web crawler 使用提交或输入进行web爬网,web-crawler,Web Crawler,这一定是一个愚蠢的问题,但我只是想知道,如果一个网站需要一些输入(或提交表格)可以爬网第一 以谷歌为例,如果我有一个搜索项目列表。我希望程序能够“键入”列表中的第一个关键字(即java),然后抓取结果页。然后“输入”python并抓取结果页面 ["java", "python" ...] “以谷歌为例”。。。一旦他们检测到类似机器人的行为,你必须回答验证码,你的程序就会停止工作。。。一旦他们检测到类似机器人的行为,你必须回答验证码,你的程序就会停止工作。

这一定是一个愚蠢的问题,但我只是想知道,如果一个网站需要一些输入(或提交表格)可以爬网第一

以谷歌为例,如果我有一个搜索项目列表。我希望程序能够“键入”列表中的第一个关键字(即java),然后抓取结果页。然后“输入”python并抓取结果页面

["java", "python" ...]
“以谷歌为例”。。。一旦他们检测到类似机器人的行为,你必须回答验证码,你的程序就会停止工作。。。一旦他们检测到类似机器人的行为,你必须回答验证码,你的程序就会停止工作。