Javascript Puppeter无法捕获所有网络请求
我正在使用Puppeter捕获页面中的所有网络请求,并从请求中提取标题列表。我主要对广告请求感兴趣。 这是我使用的代码Javascript Puppeter无法捕获所有网络请求,javascript,puppeteer,Javascript,Puppeteer,我正在使用Puppeter捕获页面中的所有网络请求,并从请求中提取标题列表。我主要对广告请求感兴趣。 这是我使用的代码 const browser = await puppeteer.launch({ headless: true, defaultViewport: { width: 1600, height: 800 }, args: ['--disable-web-security', '--disable-features=I
const browser = await puppeteer.launch({
headless: true,
defaultViewport: { width: 1600, height: 800 },
args: ['--disable-web-security', '--disable-features=IsolateOrigins,site-per-
process']});
const page = await browser.newPage();
await page.setViewport({ width: 1600, height: 800 });
const client = await page.target().createCDPSession();
await client.send('Network.clearBrowserCookies');
await client.send('Network.clearBrowserCache');
await page.setCacheEnabled(false);
await page.setRequestInterception(true);
const results=[];
page.on('request', (request) => {
const information = {
url: request.url(),
headers: request.headers(),
};
results.push(information);
request.continue();
});
page.on('requestfinished', async (request) => {
const response = await request.response();
const responseHeaders = response.headers();
const headers = Array.from(request.headers());
headers.concat(Array.from(responseHeaders));
const information = {
url: request.url(),
headers,
};
results.push(information);
});
page.on('response', async (response) => {
const information = {
url: response.url(),
headers: response.headers(),
};
results.push(information);
});
const url='https://www.javatpoint.com/php-tutorial';
await page.goto(url, {
waitUntil: 'networkidle0',
timeout: 0,
});
但是,我可以在浏览器中看到的请求数至少是代码捕获的请求数的10倍。此外,视口从未设置为1600*800