如何防止我的Python web scraper停止?
啊!我已经编写了一个快速(Python)程序,每五分钟获取一个攀岩馆的占用率,供以后分析。我想让它不停地运行,但我注意到,经过几个小时后,两件事中的一件会发生如何防止我的Python web scraper停止?,python,python-requests,continuous-integration,Python,Python Requests,Continuous Integration,啊!我已经编写了一个快速(Python)程序,每五分钟获取一个攀岩馆的占用率,供以后分析。我想让它不停地运行,但我注意到,经过几个小时后,两件事中的一件会发生 它将检测到键盘中断(我没有输入)并停止,或者 它将简单地停止写入.csv文件,而不会在shell中显示任何故障 代码如下: 导入操作系统 chdir(“~/Documents/Other/g1_capacity”)#如果在别处打开程序,请确保程序在正确的目录下运行 导入请求 导入时间 从日期时间导入日期时间 将numpy作为np导入 导入
.csv
文件,而不会在shell中显示任何故障导入操作系统
chdir(“~/Documents/Other/g1_capacity”)#如果在别处打开程序,请确保程序在正确的目录下运行
导入请求
导入时间
从日期时间导入日期时间
将numpy作为np导入
导入csv
def get_count():
url='1〕https://portal.rockgympro.com/portal/public/b01ab221559163c5e9a73e078fe565aa/occupancy?&iframeid=occupancyCounter&fId='
text=请求.get(url).text
line=“”
对于text.split(“\n”)中的项:
如果项目中有“\'count\”:
行=(item.strip())
count=int(line.split(“:”[1][0:-1])#获取此特定源的计数的方法非常粗略
返回计数
为真时:#运行至手动停止
以开放式('g1_occulation.csv',mode='a')作为占用:
占用率_writer=csv.writer(占用率)
占用率_writer.writerow([datetime.now(),get_count()])#在.csv中添加带有时间戳和当前计数的新行
时间。睡眠(60*5)#在添加新线路之前等待五分钟
我对网络抓取是个新手(事实上,这是我第一次),我想知道是否有人能提出一个建议来帮助消除我上面提到的问题。非常感谢 你可以使用
试试。。。除了
显示错误消息和处理错误而不终止ProStream。当它停止写入csv文件时,它可能正在等待网页返回。每次调用get\u count
时打印当前时间,以便查看脚本是否仍在运行。您可以使用try。。。除了
显示错误消息和处理错误而不终止ProStream。当它停止写入csv文件时,它可能正在等待网页返回。每次调用get\u count
时打印当前时间,以便查看脚本是否仍在运行。