Authentication 雅西无法爬行&；索引需要用户身份验证的内部网页面_Authentication_Search_Indexing_Web Crawler_Search Engine

Authentication 雅西无法爬行&；索引需要用户身份验证的内部网页面

authentication search indexing web-crawler

Authentication 雅西无法爬行&；索引需要用户身份验证的内部网页面,authentication,search,indexing,web-crawler,search-engine,Authentication,Search,Indexing,Web Crawler,Search Engine,我刚刚在我的工作场所的公司内部网中安装了一个本地YaCy peer，允许对某些内容进行爬网和索引以进行搜索。（至少这是目标。）然而，大多数页面要求用户在试图访问它们时使用其公司凭据对自己进行身份验证这种身份验证要求使YaCy处于不利地位，因为它无法访问需要处理的页面。它失败并显示以下错误消息（删除了真实的内部主机名，但我可以向您保证它是有效的）：爬行“https://”失败。原因：刮刀无法加载URL:java.io.IOException:被拒绝的空响应正文 “需要HTTP/1.1401授

我刚刚在我的工作场所的公司内部网中安装了一个本地YaCy peer，允许对某些内容进行爬网和索引以进行搜索。（至少这是目标。）然而，大多数页面要求用户在试图访问它们时使用其公司凭据对自己进行身份验证

这种身份验证要求使YaCy处于不利地位，因为它无法访问需要处理的页面。它失败并显示以下错误消息（删除了真实的内部主机名，但我可以向您保证它是有效的）：

爬行“https://”失败。原因：刮刀无法加载URL:java.io.IOException:被拒绝的空响应正文 “需要HTTP/1.1401授权”用于URL 'https:///'$/

即使需要使用某人的帐户（不是很理想，但还行），我还没有（还？）找到一个可以在YaCy管理页面或配置文件中指定此类凭据的位置

有没有一种方法可以让YaCy抓取和索引需要用户自我验证的页面

谢谢