Python e> 请求_html呈现JS,因为requests是一个HTTP库,无法为您呈现它 报废还是报废?[编辑]报废*谢谢你抓住了这一点,通过拼写错误并不是我寻求帮助的真正目的。:)报废还是报废?[编辑]报废*谢谢你抓住了这一点,通过拼写错误并不是我寻求帮助的真

Python e> 请求_html呈现JS,因为requests是一个HTTP库,无法为您呈现它 报废还是报废?[编辑]报废*谢谢你抓住了这一点,通过拼写错误并不是我寻求帮助的真正目的。:)报废还是报废?[编辑]报废*谢谢你抓住了这一点,通过拼写错误并不是我寻求帮助的真,python,html,selenium-webdriver,web-scraping,beautifulsoup,Python,Html,Selenium Webdriver,Web Scraping,Beautifulsoup,e> 请求_html呈现JS,因为requests是一个HTTP库,无法为您呈现它 报废还是报废?[编辑]报废*谢谢你抓住了这一点,通过拼写错误并不是我寻求帮助的真正目的。:)报废还是报废?[编辑]报废*谢谢你抓住了这一点,通过拼写错误并不是我寻求帮助的真正目的。:)哇!这不仅有效,而且动态性很强,可以与其他表一起使用!我肯定是想得太多了,但我还是不完全明白这是怎么回事。我需要更多的消化来理解这一部分,但非常感谢@安德烈:欢迎你,如果你发现有什么不清楚的地方,请告诉我,这样我可以解释。是的……你


e> 请求_html呈现
JS
,因为
requests
是一个
HTTP
库,无法为您呈现它

报废还是报废?[编辑]报废*谢谢你抓住了这一点,通过拼写错误并不是我寻求帮助的真正目的。:)报废还是报废?[编辑]报废*谢谢你抓住了这一点,通过拼写错误并不是我寻求帮助的真正目的。:)哇!这不仅有效,而且动态性很强,可以与其他表一起使用!我肯定是想得太多了,但我还是不完全明白这是怎么回事。我需要更多的消化来理解这一部分,但非常感谢@安德烈:欢迎你,如果你发现有什么不清楚的地方,请告诉我,这样我可以解释。是的……你知道有什么“文献”可以涵盖你在这里所做的事情的概念吗?我的背景是分析(python、r和sql),而不是html。每个网站的数据={}中的信息是否不同?我可以在yahoo finance或任何其他有表格的页面上使用这个吗?我认为需要进行一些调整(除了url和数据变量,比如你在series_id和survey中输入的数据变量。再次感谢。我肯定想了解这一点。@Andrewicks好的,让我在答案中解释一下。请稍候。首先,这种方法似乎不适用于所有网站,目前还可以。其次,我想调整代码这不仅仅是从2010年到2020年,而是从1939年到2020年。在网站上,这需要从顶部的下拉列表中选择1939年,然后选择“开始”。我试着按照你的方式进行,但它只会出错。有什么想法吗?data=“from_year”:“1939年”和“to_year”:“2020年”.另外,我认为FireFox中存在params字段。你知道Chrome中是否有类似的内容吗?哇!!!这不仅有效,而且动态性很强,可以与其他表一起使用!我肯定是想得太多了,但我还是不完全明白它是如何工作的。我还需要进一步消化它以了解它i don’我不想说,但非常感谢!@AndrewHicks欢迎您,如果您发现任何不清楚的地方,请告诉我,以便我可以解释是的……您知道任何“文献”可能涵盖您在这里所做的事情的概念吗?我的背景是分析(python、r和sql),而不是html。数据中的信息是={}每个网站都不一样?我可以在雅虎财经或任何其他有表格的页面上使用它吗?我认为需要一些调整(除了url和数据变量,比如你在series_id和survey中输入的数据变量。再次感谢。我肯定想了解这一点。@Andrewicks好的,让我在答案中解释一下。请稍候。首先,这种方法似乎不适用于所有网站,目前还可以。其次,我想调整代码这不仅仅是从2010年到2020年,而是从1939年到2020年。在网站上,这需要从顶部的下拉列表中选择1939年,然后选择“开始”。我试着按照你的方式进行,但它只会出错。有什么想法吗?data=“from_year”:“1939年”和“to_year”:“2020年”.另外,我认为FireFox中存在params字段。你知道Chrome中是否有类似的内容吗?
from bs4 import BeautifulSoup
from urllib.request import urlopen
import pandas as pd
import numpy as np
import requests
import lxml.html as lh

from selenium import webdriver
url = "https://data.bls.gov/cgi-bin/surveymost?bls"
ChromeSource = r"<browser driver>"

# Open up a Chrome browser and navigate to web page.
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument('--incognito')
options.add_argument('--headless') # will run without opening browser.
driver = webdriver.Chrome(ChromeSource, chrome_options=options)
driver.get(url)

driver.find_element_by_xpath("//input[@type='checkbox' and @value = 'CIU1010000000000A']").click()
driver.find_element_by_xpath("//input[@type='Submit' and @value = 'Retrieve data']").click()

i = 2

def myTEST(i):
    xpath = '//*[@id="col' + str(i) + '"]'
    TEST = driver.find_elements_by_xpath(xpath)

    num_page_items = len(TEST)
    for i in range(num_page_items):
        print(TEST[i].text)
myTEST(i)

# Clean up (close browser once completed task).
driver.close() 
<tr> == $0
  <th id="col0"> Year </th>
  <th id="col1"> Period </th>
  <th id="col2">Estimated Value</th>
  <th id="col2">Standard Error</th>
<tr>