Python 指向异步加载的注释的直接链接?

Python 指向异步加载的注释的直接链接?,python,jquery,xmlhttprequest,screen-scraping,web-scraping,Python,Jquery,Xmlhttprequest,Screen Scraping,Web Scraping,我正在玩change.org,试图下载一些关于请愿书的评论。为此,我想知道当用户单击“加载更多原因”时,注释从何处提取。例如,请看这里: 查看Chrome中的XHR请求,我看到请求被发送到。当然,页面号随加载注释的次数而变化 但是,当我在浏览器中尝试时,此链接会导致出现空白页。这是因为url中缺少一些数据,还是因为javascript中的某个身份验证步骤首先发出了请求 任何指点都将不胜感激。谢谢 编辑:由于第一次响应,我看到在使用控制台时正在接收数据。从python脚本发出请求时,如何接收相同

我正在玩change.org,试图下载一些关于请愿书的评论。为此,我想知道当用户单击“加载更多原因”时,注释从何处提取。例如,请看这里:

查看Chrome中的XHR请求,我看到请求被发送到。当然,页面号随加载注释的次数而变化

但是,当我在浏览器中尝试时,此链接会导致出现空白页。这是因为url中缺少一些数据,还是因为javascript中的某个身份验证步骤首先发出了请求

任何指点都将不胜感激。谢谢


编辑:由于第一次响应,我看到在使用控制台时正在接收数据。从python脚本发出请求时,如何接收相同的数据。我是否必须模仿浏览器,或者是否有办法只使用urllib?

他们必须验证请求的来源。如果转到站点,请打开控制台并运行以下操作:

$.get('http://www.change.org/petitions/tell-usda-to-stop-using-pink-slime-in-school-food/opinions?page=2&role=comments',{},function(data){console.log(data);});

您将看到数据返回

谢谢,这很有帮助。当我运行这个时,我确实在控制台中看到了数据。现在有没有一种不用通过网站就能接收数据的方法。也就是说,如何使用python脚本从该url获取数据。