Web wget脚本问题

Web wget脚本问题,web,web-crawler,wget,Web,Web Crawler,Wget,我是网络爬虫新手。我从这个问题中借用了下面的代码:。它在stackoverflow.com上运行得非常好。然而,当我在yelp.com或en.wikipedia.org/wiki/Main_页面上尝试时,它只返回一些结果 wget -t 7 -w 5 --waitretry=14 --random-wait -l 2 -m -k -K -e robots=off http://stackoverflow.com -o ./myLog.log 我应该更改什么,以便在域内返回更多结果?您是否尝试过

我是网络爬虫新手。我从这个问题中借用了下面的代码:。它在stackoverflow.com上运行得非常好。然而,当我在yelp.com或en.wikipedia.org/wiki/Main_页面上尝试时,它只返回一些结果

wget -t 7 -w 5 --waitretry=14 --random-wait -l 2 -m -k -K -e robots=off http://stackoverflow.com -o ./myLog.log

我应该更改什么,以便在域内返回更多结果?

您是否尝试过找出返回和不返回的资源之间的区别?你试过什么?你看过文件了吗?我看过文件了。我不明白这些资源之间有什么区别。对不起,没有更多的信息,真的很难调试。您是否可以编辑您的问题并说出您访问的URL、返回的文件(URL)以及您希望返回的内容等。