Authentication 如何使用基本身份验证访问页面(Apify SDK)
在木偶师文档中,我发现我可以使用Authentication 如何使用基本身份验证访问页面(Apify SDK),authentication,puppeteer,apify,Authentication,Puppeteer,Apify,在木偶师文档中,我发现我可以使用 wait page.authenticate({username:'test',password:'test'}) 使用基本身份验证访问页面 但似乎政府已经提出了要求 那我该怎么做呢 Apify.main(async () => { const requestQueue = await Apify.openRequestQueue(`PC_${settings.project}_${time}`); await requestQueue.addReque
wait page.authenticate({username:'test',password:'test'})代码>
使用基本身份验证访问页面
但似乎政府已经提出了要求
那我该怎么做呢
Apify.main(async () => {
const requestQueue = await Apify.openRequestQueue(`PC_${settings.project}_${time}`);
await requestQueue.addRequest({ url: settings.baseUrl });
const crawler = new Apify.PuppeteerCrawler({
requestQueue,
launchPuppeteerOptions: {
headless: settings.headless,
// slowMo: 500,
},
maxRequestsPerCrawl: settings.maxurls,
maxConcurrency: settings.maxcrawlers,
handlePageFunction: async ({ request, response, page }) => {
await page.authenticate({ username: 'test', password: 'test' });
await page.waitFor(settings.waitForPageload);
const requestUrl = request.url
const loadUrl = request.loadedUrl
let isRedirected = false
if (requestUrl !== loadUrl) {
isRedirected = { from: requestUrl, to: loadUrl }
}
您可以在使用打开页面之前对其进行操作
如果你需要登录一个网站,你可以检查这个小图标
谢谢你的回答-我想这就是我要找的gotoFunction
。你有这样的例子吗?我不知道我可以在哪里以及如何添加page.authenticate
将此作为一个字段添加到puppeterCrawler:gotoFunction:async({page,request})=>{wait page.authenticate()//添加您的creds return page.goto(request.url,{timeout:120000})
const crawler = new Apify.PuppeteerCrawler({
gotoFunction: async ({ page, request }) => {
await page.authenticate({ username: 'test', password: 'test' });
return page.goto(request.url, { timeout: 120000 });
},