Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/selenium/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
我正在尝试使用python从这个网站下载年度数据,但我不知道如何处理它?_Python_Selenium_Web Scraping_Beautifulsoup_Data Collection - Fatal编程技术网

我正在尝试使用python从这个网站下载年度数据,但我不知道如何处理它?

我正在尝试使用python从这个网站下载年度数据,但我不知道如何处理它?,python,selenium,web-scraping,beautifulsoup,data-collection,Python,Selenium,Web Scraping,Beautifulsoup,Data Collection,我想学习如何使用python下载过去十年的CSV文件。我想这会有帮助的 我的尝试涉及请求和熊猫。这是一个多部分问题,我将概述我认为您应该使用的步骤 第一部分是下载网页。我的建议是使用类似的方式获取网页 一旦你有了它,你就可以用它来解析网页了 我看了一下这个网站,看起来有很多方法可以下载数据。我认为获取数据的最佳方法是从页面的特定部分提取所有文本 一旦这样做,您可能需要清理数据。我建议用这个 这里的人不会帮你解决整个问题。这就是说,如果您在这一过程中遇到了困难,并且有一个特定的问题,Stac

我想学习如何使用python下载过去十年的CSV文件。我想这会有帮助的


我的尝试涉及请求和熊猫。

这是一个多部分问题,我将概述我认为您应该使用的步骤

  • 第一部分是下载网页。我的建议是使用类似的方式获取网页
  • 一旦你有了它,你就可以用它来解析网页了
  • 我看了一下这个网站,看起来有很多方法可以下载数据。我认为获取数据的最佳方法是从页面的特定部分提取所有文本
  • 一旦这样做,您可能需要清理数据。我建议用这个

这里的人不会帮你解决整个问题。这就是说,如果您在这一过程中遇到了困难,并且有一个特定的问题,StackOverflow可能会在这一点上有所帮助。

问题已解决我使用selenium解决了它

通过执行以下操作:

from selenium import webdriver # allow launching browser
# Opening in incognito
driver_option = webdriver.ChromeOptions()
#driver_option.add_argument(" — incognito")
chromedriver_path = '# Write your path here' # Change this to your own chromedriver path!

# Creating a webdriver.
def create_webdriver():
 return webdriver.Chrome(executable_path=chromedriver_path, options=driver_option)

URL = ""

browser.get(url)
# Clicking the button.
elem1 = browser.find_element_by_link_text("download file")
# Clicking the button.
elem1.click()

在2020年之前的所有年份,我都在循环使用以前的代码,并且我获得了CSV格式的所有文件

欢迎来到
Stackoverflow
,请检查,还请注意,
Stackoverflow
不用于分配你的
作业
工作
任务。请回答您的问题,并向我们展示您的尝试和失败之处。我只是想提高我的技能