Node.js request.js HPE\u无效\u头\u令牌_Node.js_Http

Node.js request.js HPE\u无效\u头\u令牌

node.js http

Node.js request.js HPE\u无效\u头\u令牌,node.js,http,Node.js,Http,我对一个问题感到绝望，我需要一些帮助。。。我正在使用node.js对网站列表进行爬网，其中一些网站会出现此错误，例如：，分析错误，HPE\u头\u令牌无效 request.get({ url: uri, timeout: timeout, headers: { referer: domain } }, (error, response, body) => { if (error) console.log(error

我对一个问题感到绝望，我需要一些帮助。。。我正在使用node.js对网站列表进行爬网，其中一些网站会出现此错误，例如：，分析错误，HPE\u头\u令牌无效

request.get({
    url: uri,
    timeout: timeout,
    headers: {
        referer: domain
    }
}, (error, response, body) => {
    if (error)
        console.log(error);
    console.log(body);
});

但是，卷曲-我-生的很好用

HTTP/1.1 404 Not Found
Server: Apache-Coyote/1.1
Cache-Control: no-cache
JSESSIONID=E594677A6CCA13BE0338E1D00A729C34; Path=/cae:
Content-Type: text/html;charset=utf-8
Content-Language: de
Set-Cookie: JSESSIONID=E594677A6CCA13BE0338E1D00A729C34; Path=/
Content-Length: 19677

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd" >

未找到HTTP/1.1 404 服务器：ApacheCoote/1.1 缓存控制：没有缓存 JSESSIONID=E594677A6CCA13BE0338E1D00A729C34；路径=/cae: 内容类型：text/html；字符集=utf-8 内容语言：de 设置Cookie:JSESSIONID=E594677A6CCA13BE038E1D00A729C34；路径=/ 内容长度：19677 我也能在我的chrome浏览器中看到这个网站

我该从哪一方面来消除这些错误呢？

I在这段旅程结束后，我不再使用node.js进行爬行和解析

Go lang crawler更适合这里，http库更灵活，更容易编写真正并发的内容

我在属性中使用引号，这为我解决了：

request.post(url,{
    headers: {
      'Authorization': 'Basic onEnAGrosEncodedBase64',
      'Content-Type': 'application/x-www-form-urlencoded'
    },
    form: {
      'grant_type': 'client_credentials'
    }
 })

我希望这能帮助别人；）

没有主意吗？。。。我开始考虑使用一些第三方C++/C扩展，Node对HTTP头非常挑剔——我有上面提到的相同问题。源网站正在发送一个包含HTML的链接头，该链接头正在崩溃节点。为了解决这个问题，我编写了一个单独的脚本，它卷曲了我需要的数据，然后从我的节点脚本中调用它