Fatal编程技术网
  • webkit/
  • 为什么通过capybara的webkit得到的结果与CasperJS不同？

为什么通过capybara的webkit得到的结果与CasperJS不同？

web-scraping phantomjs

为什么通过capybara的webkit得到的结果与CasperJS不同？,webkit,web-scraping,phantomjs,casperjs,Webkit,Web Scraping,Phantomjs,Casperjs,我是一个有点新的过多的刮技术可用，所以我已经测试了一堆。我看到的一个测试页面是。我注意到，我的scraper在运行Capybara时返回了我期望的结果——JS运行后返回HTML。代码如下： class Scraper include Capybara::DSL Capybara.run_server = false Capybara.current_driver = :webkit def test_scrape visit "ht

我是一个有点新的过多的刮技术可用，所以我已经测试了一堆。我看到的一个测试页面是。我注意到，我的scraper在运行Capybara时返回了我期望的结果——JS运行后返回HTML。代码如下：

  class Scraper
    include Capybara::DSL

    Capybara.run_server = false
    Capybara.current_driver = :webkit

    def test_scrape      
      visit "https://www.facebook.com/pages/Buddha-Bodai-Vegetarian-Restaurant/117609928256672?sk=info"
      if body.match /pagelet_nearby_places_results/
        has_xpath?("//div[@id='pagelet_nearby_places_results']")
      end
      body
    end
  end
这显然是一个非常基本的测试。例如，您可以通过查看页面上Foursquare链接的HTML来正确地加载它

<a class="uiIconText" href="https://www.facebook.com/l.php?u=https%3A%2F%2Ffoursquare.com%2Fv%2Fbuddha-bodai%2F459b830af964a5208b401fe3%3Fref%3Datw&amp;h=0AQH4z1yv&amp;s=1"
...
对于这一点，我得到了不同的结果，在加载JS之前，它看起来像HTML。本例中的foursquare链接被注释掉，并位于代码标记内：

<code class="hidden_elem" id="u_0_i"><!-- <div class="_5ay5"><div data-gt="{&quot;vertex_section&quot;:&quot;VertexLinksSection&quot;}"><div class="_gl"><div class="_117 _4qd"><h3>Links</h3></div><div class="_gm"><ul class="uiList _4kg _6-h _6-j _6-i"><li class="_6zy"><table class="uiGrid _51mz" cellspacing="0" cellpadding="0"><tbody><tr class="_51mx"><td class="_51m-"><a class="uiIconText" href="https://www.facebook.com/l.php?u=https%3A%2F%2Ffoursquare.com%2Fv%2Fbuddha-bodai%2F459b830af964a5208b401fe3%3Fref%3Datw&amp;h=UAQG_81FD&amp;s=1"
...

我认为这是一个bug，所以我将其记录在这里：



<code class="hidden_elem" id="u_0_i"><!-- <div class="_5ay5"><div data-gt="{&quot;vertex_section&quot;:&quot;VertexLinksSection&quot;}"><div class="_gl"><div class="_117 _4qd"><h3>Links</h3></div><div class="_gm"><ul class="uiList _4kg _6-h _6-j _6-i"><li class="_6zy"><table class="uiGrid _51mz" cellspacing="0" cellpadding="0"><tbody><tr class="_51mx"><td class="_51m-"><a class="uiIconText" href="https://www.facebook.com/l.php?u=https%3A%2F%2Ffoursquare.com%2Fv%2Fbuddha-bodai%2F459b830af964a5208b401fe3%3Fref%3Datw&amp;h=UAQG_81FD&amp;s=1"
...