Python 搜索爬行“；“机器人”是什么；？
我正在从事一个项目，该项目要求我收集有关特定主题的网站的大量URL列表。我想写一个脚本，将使用谷歌搜索特定的条款，然后保存从结果到一个文件的URL。我该怎么做呢？我使用了一个名为xgoogle的模块，但它总是不返回任何结果Python 搜索爬行“；“机器人”是什么；？,python,windows,search,hyperlink,Python,Windows,Search,Hyperlink,我正在从事一个项目，该项目要求我收集有关特定主题的网站的大量URL列表。我想写一个脚本，将使用谷歌搜索特定的条款，然后保存从结果到一个文件的URL。我该怎么做呢？我使用了一个名为xgoogle的模块，但它总是不返回任何结果 我正在Windows 7上使用Python 2.6。谷歌有一个API库。我建议您使用： 它是一个restful API，这意味着通过python/js很容易获取结果。我想你只能得到32个结果，但这应该足够了。它将返回一个很好的结构化对象，您可以使用它，而无需对html解析进行
我正在Windows 7上使用Python 2.6。谷歌有一个API库。我建议您使用： 它是一个restful API，这意味着通过python/js很容易获取结果。我想你只能得到32个结果，但这应该足够了。它将返回一个很好的结构化对象，您可以使用它，而无需对html解析进行任何操作
如果您想“爬网”，那么可以使用urllib抓取每个URL并获取它们的内容以及它们引用的URL。请确保更改
urllib2