有的项目需要内置一部分数据,这部分数据可以在服务启动之前初始化到数据库中。看了fastapi的代码,可以用add_event_handler来解决这个问题。
代码:
def init_project_dbs():
init_one_dbs()
init_two_dbs()
logger.info("Initialization finished")
def init_dbs_before_setup(app):
app.add_event_handler('startup', init_dbs)
这样写在本地用uvicorn启动服务没有问题,但是生产环境用gunicorn部署服务,启动多个worker数据就会重复。这是因为多个woker同时执行初始化操作,即便导入数据的时候,加了唯一字段判断,也会因为并发操作数据库,导致某些数据被重复写入。这时候有2种加锁方式,一种是数据库加锁,一种是业务逻辑加锁,一般采用的是业务逻辑加锁。目前比较流行的是redis分布式锁。
redis分布式锁可以自己实现,也可以用redlock-py包实现。下面是用redlock-py包实现的redis分布式锁。
from contextlib import contextmanager
from redlock import Redlock
redis_url = "redis://:passwod@host:port/db"
dlm = Redlock([redis_url])
@contextmanager
def distributed_lock(keyword, timeout):
"""
keyword:is an unique identifier of what you are trying to lock
timeout: how long to wait for lock in milliseconds
"""
lock = dlm.lock(keyword, timeout)
try:
yield lock
finally:
if lock:
dlm.unlock(lock)
def init_one_dbs():
with distributed_lock("xxxx", 10000) as lock:
if lock:
do something