抓取一个基于js的网站,从python下载javascript生成.csv

抓取一个基于js的网站,从python下载javascript生成.csv,python,web-scraping,Python,Web Scraping,我尝试从一个基于ajax/js的网站上下载.csv文件 如果我在浏览器中访问该站点,我需要单击调用js函数“downloadChartCSV()”的按钮此函数生成并下载一个.csv文件。我要查找的文件 我如何实现自动化 我试过: 请求html,它可以登录并呈现页面,但我缺少调用onClick事件的选项。关于这一点,似乎有一个公开的问题: Selenium可能可以工作,但我不想要一个闪烁的完整浏览器 如果您想拥有Selenium的功能,但又不想看到完整的浏览器闪烁:请使用PhantomJS驱动程

我尝试从一个基于ajax/js的网站上下载.csv文件

如果我在浏览器中访问该站点,我需要单击调用js函数“downloadChartCSV()”的按钮此函数生成并下载一个.csv文件。我要查找的文件

我如何实现自动化

我试过:

  • 请求html,它可以登录并呈现页面,但我缺少调用onClick事件的选项。关于这一点,似乎有一个公开的问题:
  • Selenium可能可以工作,但我不想要一个闪烁的完整浏览器

如果您想拥有Selenium的功能,但又不想看到完整的浏览器闪烁:请使用PhantomJS驱动程序


这是一个很好的介绍。

你能提供一个链接,其中包含你想从中获取的相关按钮吗?也许您可以通过ajax URL获取csv。该函数不调用ajax请求,而是处理站点上已经存在的一些数据。我很想分享这个链接作为一个例子,但你必须登录,而且它在付费墙后面。太糟糕了。。但也许我的答案是helpful@YannickFunk你的方法真的很有帮助。我可以通过调试网站来解决这个问题。原来有一个指向api端点的url,它在一个整洁的JSON包中提供了所有数据。我可以调用api并跳过所有javascript内容。我不确定你是否能把它表述为一个答案,因为从技术上讲,它不是对原始问题的答案。但它更优雅地解决了我的问题。