Javascript curl和nodeJS'request'库不生成相同的结果
当我运行Javascript curl和nodeJS'request'库不生成相同的结果,javascript,curl,https,request,httpresponse,Javascript,Curl,Https,Request,Httpresponse,当我运行curl时https://purduesports.com/我得到了网站的HTML代码。这符合预期/预期 但当我在JavaScript文件中运行以下命令时,得到的响应体是空的。下面是代码,下面是回复: var request = require('request'); return request('https://purduesports.com/', function (error, response, body) { console.log('error:', error)
curl时https://purduesports.com/
我得到了网站的HTML代码。这符合预期/预期
但当我在JavaScript文件中运行以下命令时,得到的响应体是空的。下面是代码,下面是回复:
var request = require('request');
return request('https://purduesports.com/', function (error, response, body) {
console.log('error:', error);
console.log('statusCode:', JSON.stringify(response));
console.log('body:', body);
return body;
});
如您所见,主体是”
,但响应代码是200
。这对我来说没有意义,因为当我运行相同的代码时,例如,我在主体中得到了HTML代码。我的直觉是HTML代码太大,无法返回到正文中,但我不知道
提前感谢您的帮助 假设你有权限清理网站。。我猜在你的curl请求中你设置了用户代理?对请求执行相同的操作。成功了!为什么我需要设置用户代理?有些网站不喜欢抓取,这是有原因的。。所以他们添加了无用的层来阻止它,这只是检查用户代理。。预期费率限制、ID和ip禁令。。除非你得到我的允许,否则我非常感谢你的帮助和指导!!假设你有权限清理网站。。我猜在你的curl请求中你设置了用户代理?对请求执行相同的操作。成功了!为什么我需要设置用户代理?有些网站不喜欢抓取,这是有原因的。。所以他们添加了无用的层来阻止它,这只是检查用户代理。。预期费率限制、ID和ip禁令。。除非你得到我的允许,否则我非常感谢你的帮助和指导!!
error: null
statusCode: {"statusCode":200,"body":"","headers":{"server":"Microsoft-IIS/10.0","date":"Wed, 01 Jan 2020 20:11:07 GMT","connection":"close","content-length":"0"},"request":{"uri":{"protocol":"https:","slashes":true,"auth":null,"host":"purduesports.com","port":443,"hostname":"purduesports.com","hash":null,"search":null,"query":null,"pathname":"/sports/baseball/roster","path":"/sports/baseball/roster","href":"https://purduesports.com/sports/baseball/roster"},"method":"GET","headers":{}}}
body: