&引用;ResourceClosedError:事务已关闭";芹菜节拍和sqlalchemy出错+;金字塔应用程序
我有一个名为&引用;ResourceClosedError:事务已关闭";芹菜节拍和sqlalchemy出错+;金字塔应用程序,sqlalchemy,celery,pyramid,Sqlalchemy,Celery,Pyramid,我有一个名为mainsite的金字塔应用程序 该站点以非常异步的方式工作,主要是通过从视图启动线程来执行后端操作 它通过sqlalchemy连接到mysql,并使用ZopeTransactionExtension进行会话管理 到目前为止,该应用程序运行良好 我需要在它上运行定期作业,它需要使用从视图启动的一些相同的异步函数 我使用了apscheduler,但遇到了问题。因此,我考虑使用芹菜节拍作为一个单独的过程,将mainapp视为一个库并导入要使用的函数 我的芹菜配置如下所示: from da
mainsite
的金字塔应用程序
该站点以非常异步的方式工作,主要是通过从视图启动线程来执行后端操作
它通过sqlalchemy连接到mysql,并使用ZopeTransactionExtension进行会话管理
到目前为止,该应用程序运行良好
我需要在它上运行定期作业,它需要使用从视图启动的一些相同的异步函数
我使用了apscheduler,但遇到了问题。因此,我考虑使用芹菜节拍作为一个单独的过程,将mainapp视为一个库并导入要使用的函数
我的芹菜配置如下所示:
from datetime import timedelta
from api.apiconst import RERUN_CHECK_INTERVAL, AUTOMATION_CHECK_INTERVAL, \
AUTH_DELETE_TIME
BROKER_URL = 'sqla+mysql://em:em@localhost/edgem'
CELERY_RESULT_BACKEND = "database"
CELERY_RESULT_DBURI = 'mysql://em:em@localhost/edgem'
CELERYBEAT_SCHEDULE = {
'rerun': {
'task': 'tasks.rerun_scheduler',
'schedule': timedelta(seconds=RERUN_CHECK_INTERVAL)
},
'automate': {
'task': 'tasks.automation_scheduler',
'schedule': timedelta(seconds=20)
},
'remove-tokens': {
'task': 'tasks.token_remover_scheduler',
'schedule': timedelta(seconds=2 * 24 * 3600 )
},
}
CELERY_TIMEZONE = 'UTC'
tasks.py是
from celery import Celery
celery = Celery('tasks')
celery.config_from_object('celeryconfig')
@celery.task
def rerun_scheduler():
from mainsite.task import check_update_rerun_tasks
check_update_rerun_tasks()
@celery.task
def automation_scheduler():
from mainsite.task import automate
automate()
@celery.task
def token_remover_scheduler():
from mainsite.auth_service import delete_old_tokens
delete_old_tokens()
请记住,上述所有函数都会立即返回,但如果需要,会启动线程
线程通过在session.add(object)之后执行transaction.commit(),将对象保存到数据库中
问题是,整个过程就像一块宝石,只持续30分钟左右。在此之后,ResourceClosedError:事务关闭
只要有transaction.commit()
,就会发生错误。我不确定是什么问题,我需要帮助排除故障
我在任务中导入的原因是为了消除这个错误。我认为每次需要运行任务时导入都是一个好主意,每次我可能都会得到一个新的事务,但看起来情况并非如此。根据我的经验,尝试将配置为与Pyramid(带有ZopeTransactionExtension等)一起使用的会话与芹菜工人一起重用,会导致难以调试的混乱局面
ZopeTransactionExtension将SQLAlchemy会话绑定到Pyramid的请求-响应周期-事务将自动启动并提交或回滚,您通常不应该在代码中使用transaction.commit()-如果一切正常,中兴通讯将提交一切,如果您的代码引发异常,您的事务将回滚
使用芹菜,您需要手动管理SQLAlchemy会话,而中兴通讯禁止您这样做,因此您需要以不同的方式配置您的DBSession
像这样简单的方法会奏效:
DBSession = None
def set_dbsession(session):
global DBSession
if DBSession is not None:
raise AttributeError("DBSession has been already set to %s!" % DBSession)
DBSession = session
然后从金字塔启动代码开始
def main(global_config, **settings):
...
set_dbsession(scoped_session(sessionmaker(extension=ZopeTransactionExtension())))
对于芹菜来说,这有点棘手——我最终为芹菜创建了一个自定义启动脚本,在该脚本中我配置了会话
在worker
egg的setup.py
中:
entry_points="""
# -*- Entry points: -*-
[console_scripts]
custom_celery = worker.celeryd:start_celery
custom_celerybeat = worker.celeryd:start_celerybeat
""",
)
在worker/celeryd.py
中:
def initialize_async_session(db_string, db_echo):
import sqlalchemy as sa
from db import Base, set_dbsession
session = sa.orm.scoped_session(sa.orm.sessionmaker(autoflush=True, autocommit=True))
engine = sa.create_engine(db_string, echo=db_echo)
session.configure(bind=engine)
set_dbsession(session)
Base.metadata.bind = engine
def start_celery():
initialize_async_session(DB_STRING, DB_ECHO)
import celery.bin.celeryd
celery.bin.celeryd.main()
如果您计划将应用程序部署到生产服务器上,您使用的“从视图启动线程以执行后端操作”的一般方法对我来说有点危险—web服务器通常会回收、杀死或创建新的“工作人员”因此,一般来说,无法保证每个特定流程都能在当前请求-响应周期之后继续存在。不过我从未试过这样做,所以也许你会没事:)嘿。我对这个人感激不尽。在我想在这里提问之前,我在上面坐了几天。我会试试这个,这个解决方案似乎可行。我会试试这个,让你知道它是怎么回事。