Flask 烧瓶,在请求之前阻止爬虫()

Flask 烧瓶,在请求之前阻止爬虫(),flask,heroku,gunicorn,Flask,Heroku,Gunicorn,我厌倦了机器人在Heroku/Gunicorn服务器上爬行我的Flask网站,决定阻止其中一些。我是使用before_请求()完成的。虽然它工作得相当好,但现在我担心这是否是一种成本过高的阻塞方式,即它会增加我的响应时间,如果是这样,是否有更好但简单的方法来实现同样的效果 botstrings_block = ['adsbot', 'petalbot', 'metrics-tools.de', 'semrush', 'mauibot'] @bp.before_request def befo

我厌倦了机器人在Heroku/Gunicorn服务器上爬行我的Flask网站,决定阻止其中一些。我是使用before_请求()完成的。虽然它工作得相当好,但现在我担心这是否是一种成本过高的阻塞方式,即它会增加我的响应时间,如果是这样,是否有更好但简单的方法来实现同样的效果

botstrings_block = ['adsbot', 'petalbot', 'metrics-tools.de', 'semrush', 'mauibot']


@bp.before_request
def before_request():

    request_header = request.user_agent.string.lower()
    if any(x in request_header for x in botstrings_block):
        print("BLOCK bot")
        abort(403)