使用python和导航控制器进行web抓取
我是python新手,我需要帮助使用web抓取代码每周保存一个动态地图。 这是我最感兴趣的。 目的是进入页面,选择季节,选择星期,然后将图像下载到本地文件夹。我将使用该映像集成到使用SAS的自动周报中使用python和导航控制器进行web抓取,python,web-scraping,sas,report,Python,Web Scraping,Sas,Report,我是python新手,我需要帮助使用web抓取代码每周保存一个动态地图。 这是我最感兴趣的。 目的是进入页面,选择季节,选择星期,然后将图像下载到本地文件夹。我将使用该映像集成到使用SAS的自动周报中 提前谢谢你 你需要什么样的帮助?我需要代码方面的帮助…这样我就可以在spyder上运行它来保存.png文件。到目前为止你尝试了什么?您应该提供某种代码示例,以显示问题的具体位置。如果没有这些,你就不可能在这里得到任何帮助。我已经回答了这些问题。谢谢你的反馈。这是代码 import sys impo
提前谢谢你 你需要什么样的帮助?我需要代码方面的帮助…这样我就可以在spyder上运行它来保存.png文件。到目前为止你尝试了什么?您应该提供某种代码示例,以显示问题的具体位置。如果没有这些,你就不可能在这里得到任何帮助。我已经回答了这些问题。谢谢你的反馈。这是代码
import sys
import os
import time
from selenium.webdriver.firefox.firefox_profile import FirefoxProfile
from selenium import webdriver
import arrow
BASE_URL = 'https://gis.cdc.gov/grasp/fluview/main.html'
DOWNLOAD_PATH = "/Users/"
def closeWebDriver(driver):
if os.name == 'nt':
driver.quit()
else:
driver.close()
def getImage():
profile = FirefoxProfile()
profile.set_preference("browser.download.panel.shown", False)
profile.set_preference("browser.helperApps.neverAsk.openFile","image/png")
profile.set_preference("browser.helperApps.neverAsk.saveToDisk", "image/png")
profile.set_preference("browser.download.folderList", 2);
profile.set_preference("browser.download.dir", DOWNLOAD_PATH)
driver = webdriver.Firefox(firefox_profile=profile)
driver.get(BASE_URL)
time.sleep(5)
if not isValidTimeFrame(driver):
print('Not the time to download yet!')
closeWebDriver(driver)
return
selectFirstWeek(driver)
print('- Consume the web.')
wrapper = driver.find_element_by_class_name('downloads-help-area')
download_img_els = wrapper.find_elements_by_class_name('downloads-button')
for el in download_img_els:
text = el.text.encode('utf-8')
# print(text)
if 'download image' == text.strip().lower():
# Process
downloadImage(el)
break
time.sleep(5)
closeWebDriver(driver)
def isValidTimeFrame(driver):
seasons_button = driver.find_element_by_class_name('seasons-button')
time_frame = seasons_button.text.encode('utf-8').strip().lower()
current_year = arrow.now().to('local')
current_year_str = current_year.format('YYYY')
next_year = current_year.shift(years=1)
next_year_str = next_year.format('YY')
print(time_frame)
compare_year = '%s-%s' % (current_year_str, next_year_str)
return time_frame == compare_year
def selectFirstWeek(driver):
prev = driver.find_element_by_id('prevMap')
week = driver.find_element_by_id('weekSlider')
while True:
print(week)
current_number = week.get_property('value')
print('- Week: ' + current_number)
prev.click()
if int(current_number) < 2:
break;
time.sleep(1)
def downloadImage(el):
print('- Click on ' + el.text)
el.click()
getImage()