使用pywebcopy从网站下载HTML时出现问题

使用pywebcopy从网站下载HTML时出现问题,html,web-scraping,debian,python-3.7,Html,Web Scraping,Debian,Python 3.7,我正在制作一个网络刮板,我在学校用它来做drop add,但我在debian VPS上运行时遇到了麻烦。它在我的mac电脑上运行得很好,但出于某种原因,pywebcopy不想在VPS上运行。我也愿意使用其他东西来做这件事,因为我只需要HTML,当我看到pywebcopy是为了从网站上获取所有信息而构建的时候。因此,对其他方式的建议或解决我的问题将是一件好事。此外,这个类每秒钟运行一次,并打算一直运行,直到我添加了所有的类。在我的mac上,它是用Python3.6完成的,但在vps上,它是用Pyt

我正在制作一个网络刮板,我在学校用它来做drop add,但我在debian VPS上运行时遇到了麻烦。它在我的mac电脑上运行得很好,但出于某种原因,pywebcopy不想在VPS上运行。我也愿意使用其他东西来做这件事,因为我只需要HTML,当我看到pywebcopy是为了从网站上获取所有信息而构建的时候。因此,对其他方式的建议或解决我的问题将是一件好事。此外,这个类每秒钟运行一次,并打算一直运行,直到我添加了所有的类。在我的mac上,它是用Python3.6完成的,但在vps上,它是用Python3.7完成的,所以这可能是另一个问题

def getwebpage(crn):
#18139
kwargs = {'project_name': 'site folder'} 
url='https://.edu/bprod/bwckschd.p_disp_listcrse?term_in=202101&subj_in=CSC&crse_in=4780&crn_in='+crn
config.setup_config( 

    # url pf the website 
    url, 
  
    # folder where the copy will be saved 
    project_folder='rawhtml/'+crn, 
    **kwargs 
)
wp = WebPage()
wp.get(url)
wp.save_html()
dirs = os.listdir("rawhtml/"+crn+"/site folder/.edu/bprod")
file_path = "rawhtml/"+crn+"/site folder/.edu/bprod/"+dirs[0]
return file_path