如何防止我的Python web scraper停止?

如何防止我的Python web scraper停止?,python,python-requests,continuous-integration,Python,Python Requests,Continuous Integration,啊!我已经编写了一个快速(Python)程序,每五分钟获取一个攀岩馆的占用率,供以后分析。我想让它不停地运行,但我注意到,经过几个小时后,两件事中的一件会发生 它将检测到键盘中断(我没有输入)并停止,或者 它将简单地停止写入.csv文件,而不会在shell中显示任何故障 代码如下: 导入操作系统 chdir(“~/Documents/Other/g1_capacity”)#如果在别处打开程序,请确保程序在正确的目录下运行 导入请求 导入时间 从日期时间导入日期时间 将numpy作为np导入 导入

啊!我已经编写了一个快速(Python)程序,每五分钟获取一个攀岩馆的占用率,供以后分析。我想让它不停地运行,但我注意到,经过几个小时后,两件事中的一件会发生

  • 它将检测到键盘中断(我没有输入)并停止,或者
  • 它将简单地停止写入
    .csv
    文件,而不会在shell中显示任何故障
  • 代码如下:

    导入操作系统
    chdir(“~/Documents/Other/g1_capacity”)#如果在别处打开程序,请确保程序在正确的目录下运行
    导入请求
    导入时间
    从日期时间导入日期时间
    将numpy作为np导入
    导入csv
    def get_count():
    url='1〕https://portal.rockgympro.com/portal/public/b01ab221559163c5e9a73e078fe565aa/occupancy?&iframeid=occupancyCounter&fId='
    text=请求.get(url).text
    line=“”
    对于text.split(“\n”)中的项:
    如果项目中有“\'count\”:
    行=(item.strip())
    count=int(line.split(“:”[1][0:-1])#获取此特定源的计数的方法非常粗略
    返回计数
    为真时:#运行至手动停止
    以开放式('g1_occulation.csv',mode='a')作为占用:
    占用率_writer=csv.writer(占用率)
    占用率_writer.writerow([datetime.now(),get_count()])#在.csv中添加带有时间戳和当前计数的新行
    时间。睡眠(60*5)#在添加新线路之前等待五分钟
    

    我对网络抓取是个新手(事实上,这是我第一次),我想知道是否有人能提出一个建议来帮助消除我上面提到的问题。非常感谢

    你可以使用
    试试。。。除了
    显示错误消息和处理错误而不终止ProStream。当它停止写入csv文件时,它可能正在等待网页返回。每次调用
    get\u count
    时打印当前时间,以便查看脚本是否仍在运行。您可以使用
    try。。。除了
    显示错误消息和处理错误而不终止ProStream。当它停止写入csv文件时,它可能正在等待网页返回。每次调用
    get\u count
    时打印当前时间,以便查看脚本是否仍在运行。