Authentication Golang web scraper NTLM身份验证

Authentication Golang web scraper NTLM身份验证,authentication,go,web-scraping,ntlm,Authentication,Go,Web Scraping,Ntlm,Golang web scraper需要从经过NTLM认证的网页中提取信息 有了有效的用户名和密码,web scraper如何与服务器执行NTLM 4路握手以访问受保护的网页 url, username, password := "http://www.some-website.com", "admin", "12345" client := &http.Client{} req, _ := http.NewRequest("GET", url, nil) req.Header.Set

Golang web scraper需要从经过NTLM认证的网页中提取信息

有了有效的用户名和密码,web scraper如何与服务器执行NTLM 4路握手以访问受保护的网页

url, username, password := "http://www.some-website.com", "admin", "12345"

client := &http.Client{}
req, _ := http.NewRequest("GET", url, nil)
req.Header.Set("Authorization", "NTLM")
res, _ := client.Do(req)

在开始抓取之前,可以使用类似于身份验证的包

url, username, password := "http://www.some-website.com", "admin", "12345"

client := &http.Client{
    Transport: ntlmssp.Negotiator{
        RoundTripper:&http.Transport{},
    },
}

req, _ := http.NewRequest("GET", url, nil)
req.SetBasicAuth(username, password)

res, _ := client.Do(req)

@John我尝试过相同的代码,但它对我不起作用,现在的问题是有时会发生身份验证,有时不会,请suggest@VijayKumar我没有在示例代码中提供错误处理。尝试检查错误,看看有什么问题。@johnperayil错误表示401未经授权,这是一个https域。我们需要为https修改任何内容吗domain@VijayKumarHTTPS应该不是问题,而且服务器返回的是未经授权的。但是需要更多的细节来调试这个问题,因为你说它只是偶尔发生。此评论框不是讨论它的合适位置,因此请在上创建一个问题并提供更多详细信息,或者在上创建一个房间并邀请我讨论它。@johnperayil我已创建了一个小组并邀请您参加,请加入