curl和wget的局限性

curl和wget的局限性,curl,wget,Curl,Wget,我想知道为什么某些URL在浏览器选项卡中加载时不费吹灰之力,但在wget和curl等工具中超时 下面是一个URL示例: 我曾尝试使用curl和wget创建此网页的下载脚本,但没有成功(即它们都挂断) 当页面加载时,您首先看到一个空白框,然后显示新闻和价格。这是因为页面上的javascript正在对信息进行API调用。Curl和wget不运行任何javascript,只需下载页面内容,这就是为什么您看不到任何内容。您必须找到实际的api调用,并下载它 wget --adjust-extensio

我想知道为什么某些URL在浏览器选项卡中加载时不费吹灰之力,但在
wget
curl
等工具中超时 下面是一个URL示例:

我曾尝试使用
curl
wget
创建此网页的下载脚本,但没有成功(即它们都挂断)


当页面加载时,您首先看到一个空白框,然后显示新闻和价格。这是因为页面上的javascript正在对信息进行API调用。Curl和wget不运行任何javascript,只需下载页面内容,这就是为什么您看不到任何内容。您必须找到实际的api调用,并下载它

wget --adjust-extension -t 2 -U 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' "https://www.nasdaq.com/market-activity/stocks/gme/news-headlines" -O gme.html

wget --adjust-extension -t 2 -U 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' "www.nasdaq.com/market-activity/stocks/gme/news-headlines" -O gme.html

curl -o 01.html https://www.nasdaq.com/market-activity/stocks/gme/news-headlines

curl -o 01.html www.nasdaq.com/market-activity/stocks/gme/news-headlines