为什么我用Perl获取的HTML与我在浏览器中看到的不同?

为什么我用Perl获取的HTML与我在浏览器中看到的不同?,perl,web-scraping,lwp-useragent,Perl,Web Scraping,Lwp Useragent,我正在编写一个Web scraper,使用Perl从 问题是,我用LWP::UserAgent获取的HTML与我在web浏览器中看到的不同。我对JavaScript变量“CouponClubMember”的内容感兴趣,在我用Perl收到的HTML中,这个变量是空的 有什么想法吗?使用下面的代码,我得到了与我的浏览器相同的东西。我刚刚将agent设置为Firefox发送并启用cookie处理的相同字符串: use LWP::UserAgent; my $ua = LWP::UserAgent-&

我正在编写一个Web scraper,使用Perl从 问题是,我用LWP::UserAgent获取的HTML与我在web浏览器中看到的不同。我对JavaScript变量“CouponClubMember”的内容感兴趣,在我用Perl收到的HTML中,这个变量是空的


有什么想法吗?

使用下面的代码,我得到了与我的浏览器相同的东西。我刚刚将
agent
设置为Firefox发送并启用cookie处理的相同字符串:

use LWP::UserAgent;

my $ua = LWP::UserAgent->new(
    agent      => 'Mozilla/5.0 (Windows NT 5.1; rv:7.0.1) Gecko/20100101 Firefox/7.0.1',
    cookie_jar => {},
);

$res = $ua->get("http://www.coupons.com");

if($res->content =~ /(CouponClubMember.{300})/) {
    print $1;
}

您可能需要设置
用户代理