深入理解tkem/cachetools：Python缓存工具库详解

原创于 2025-06-24 09:17:05 发布 · 406 阅读

7 ·

CC 4.0 BY-SA版权

深入理解tkem/cachetools：Python缓存工具库详解

什么是tkem/cachetools

tkem/cachetools是一个Python缓存工具库，提供了多种可扩展的缓存集合和装饰器实现。它扩展了Python标准库中的@lru_cache功能，为开发者提供了更丰富的缓存策略和更灵活的缓存控制能力。

缓存基础概念

在计算机科学中，缓存是一种用于存储临时数据的机制，目的是提高数据访问速度。cachetools模块中的缓存被定义为具有固定最大大小的可变映射结构。当缓存达到最大容量时，会根据特定的缓存算法决定哪些项目应该被移除。

核心缓存实现

cachetools提供了多种基于不同缓存算法的实现：

1. 基础缓存类(Cache)

所有缓存类的基类
继承自collections.MutableMapping
提供maxsize和currsize属性
默认情况下，每个项目的大小被视为1

2. 先进先出缓存(FIFOCache)

按照项目添加的顺序进行淘汰
最先进入缓存的项目会最先被移除

3. 最少使用缓存(LFUCache)

统计每个项目的访问频率
淘汰使用次数最少的项目

4. 最近最少使用缓存(LRUCache)

跟踪项目的访问时间
淘汰最近最少使用的项目

5. 随机替换缓存(RRCache)

随机选择项目进行淘汰
可以通过choice参数自定义随机选择算法

6. 带过期时间的缓存(TTLCache)

每个项目关联一个生存时间(TTL)
过期项目会被自动移除
默认使用time.monotonic()计时
支持自定义计时器和时间单位

7. 自定义过期时间缓存(TLRUCache)

类似TTLCache，但过期时间由用户定义的ttu函数计算
更灵活地控制项目过期策略

缓存装饰器

cachetools提供了两个强大的装饰器，用于简化函数和方法调用的缓存：

1. @cached装饰器

将函数调用结果缓存到指定缓存对象中
支持自定义缓存键生成函数
提供线程安全选项(lock参数)
支持缓存统计(info参数)
示例：

@cached(cache=LRUCache(maxsize=100))
def expensive_function(arg1, arg2):
    # 复杂计算
    return result

2. @cachedmethod装饰器

专门用于类方法的缓存
缓存和锁对象通过函数动态获取
支持实例级或类级缓存
示例：

class DataProcessor:
    def __init__(self):
        self._cache = LRUCache(maxsize=100)
    
    @cachedmethod(lambda self: self._cache)
    def process(self, data):
        # 数据处理
        return result

高级用法

1. 自定义缓存淘汰策略

通过继承缓存类并重写popitem方法，可以实现自定义的淘汰策略：

class MyCache(LRUCache):
    def popitem(self):
        key, value = super().popitem()
        logging.info(f"Evicted key: {key}")
        return key, value

2. 监控缓存过期

对于TTLCache和TLRUCache，可以重写expire方法来监控过期项目：

class MonitoredTTLCache(TTLCache):
    def expire(self, time=None):
        expired = super().expire(time)
        for key, value in expired:
            print(f"Expired: {key}")
        return expired

3. 实现类似defaultdict的行为

通过实现__missing__方法，可以在缓存未命中时自动加载数据：

class AutoLoadCache(LRUCache):
    def __missing__(self, key):
        value = load_from_database(key)  # 自定义加载逻辑
        self[key] = value
        return value