Python 使用wget避免负载限制

我需要从网上下载几个网页。我使用wget（URL）下载它们，但我发现在下载一定量（少于100秒）后，它不会下载并给出错误

谁能告诉我，下载我在一个文件中有URL的许多网页的最佳方式是什么

Query1='"http://scholar.google.com/scholar?q=%22'+a+'%22&btnG=&hl=en&as_sdt=0%2C24"'
        URL1='wget --user-agent Chrome '+Query1+' -O '+file1
        os.system(URL1)

这是我正在使用的代码

---

谢谢

您得到了什么错误？我得到了一个空文件0KB文件cmd说该文件不可用或无法解析…首先，当Python中有4个以上的库需要执行get时，为什么要调用系统来获取页面？第二，你可能在Google Scholar上遇到了流量限制，这是专门用来防止人们向他们发送大量请求的。看看他们的服务条款。如果您可以选择下载文件的方法，我建议您请求

<代码>导入请求；r=请求。获取（“http://url"); r、 文本