跳转至

内容哈希文件缓存模式

使用 SHA-256 内容哈希作为缓存键,缓存高成本的文件处理结果(PDF 解析、文本提取、图像分析)。与基于路径的缓存不同,这种方法在文件移动/重命名后仍然有效,并在内容变更时自动失效。

启动条件

  • 构建文件处理流水线(PDF、图像、文本提取)
  • 处理成本较高,且同一文件被重复处理
  • 需要 --cache/--no-cache CLI 选项
  • 希望在不修改现有纯函数的情况下添加缓存

核心模式

1. 基于内容哈希的缓存键

使用文件内容而不是路径作为缓存键:

import hashlib
from pathlib import Path

_HASH_CHUNK_SIZE = 65536  # 大きなファイルには64KBチャンク

def compute_file_hash(path: Path) -> str:
    """ファイルコンテンツのSHA-256(大きなファイルにはチャンク処理)。"""
    if not path.is_file():
        raise FileNotFoundError(f"File not found: {path}")
    sha256 = hashlib.sha256()
    with open(path, "rb") as f:
        while True:
            chunk = f.read(_HASH_CHUNK_SIZE)
            if not chunk:
                break
            sha256.update(chunk)
    return sha256.hexdigest()

为什么使用内容哈希? 文件重命名/移动 = 缓存命中。内容变更 = 自动失效。无需索引文件。

2. 缓存条目的冻结数据类

from dataclasses import dataclass

@dataclass(frozen=True, slots=True)
class CacheEntry:
    file_hash: str
    source_path: str
    document: ExtractedDocument  # キャッシュされた結果

3. 基于文件的缓存存储

每个缓存条目保存为 {hash}.json — 基于哈希的 O(1) 查找,无需索引文件。

import json
from typing import Any

def write_cache(cache_dir: Path, entry: CacheEntry) -> None:
    cache_dir.mkdir(parents=True, exist_ok=True)
    cache_file = cache_dir / f"{entry.file_hash}.json"
    data = serialize_entry(entry)
    cache_file.write_text(json.dumps(data, ensure_ascii=False), encoding="utf-8")

def read_cache(cache_dir: Path, file_hash: str) -> CacheEntry | None:
    cache_file = cache_dir / f"{file_hash}.json"
    if not cache_file.is_file():
        return None
    try:
        raw = cache_file.read_text(encoding="utf-8")
        data = json.loads(raw)
        return deserialize_entry(data)
    except (json.JSONDecodeError, ValueError, KeyError):
        return None  # 破損をキャッシュミスとして扱う

4. 服务层包装器(SRP)

保持处理函数纯粹。将缓存作为另一个服务层添加。

def extract_with_cache(
    file_path: Path,
    *,
    cache_enabled: bool = True,
    cache_dir: Path = Path(".cache"),
) -> ExtractedDocument:
    """サービスレイヤー: キャッシュチェック -> 抽出 -> キャッシュ書き込み。"""
    if not cache_enabled:
        return extract_text(file_path)  # 純粋な関数、キャッシュの知識なし

    file_hash = compute_file_hash(file_path)

    # キャッシュを確認
    cached = read_cache(cache_dir, file_hash)
    if cached is not None:
        logger.info("Cache hit: %s (hash=%s)", file_path.name, file_hash[:12])
        return cached.document

    # キャッシュミス -> 抽出 -> 保存
    logger.info("Cache miss: %s (hash=%s)", file_path.name, file_hash[:12])
    doc = extract_text(file_path)
    entry = CacheEntry(file_hash=file_hash, source_path=str(file_path), document=doc)
    write_cache(cache_dir, entry)
    return doc

主要设计决策

决策 依据
SHA-256 内容哈希 不依赖路径,内容变更时自动失效
{hash}.json 文件命名 O(1) 查找,无需索引文件
服务层包装器 SRP:保持提取纯粹,缓存是另一关注点
手动 JSON 序列化 完全控制冻结数据类的序列化
损坏时返回 None 优雅降级,下次运行时重新处理
cache_dir.mkdir(parents=True) 首次写入时延迟创建目录

最佳实践

  • 哈希内容而不是路径 — 路径会变化,但内容身份不变
  • 对大文件分块哈希 — 避免将整个文件读入内存
  • 保持处理函数纯粹 — 让它对缓存一无所知
  • 用截断的哈希记录缓存命中/未命中 — 便于调试
  • 优雅处理损坏 — 将无效缓存条目视为未命中,而不是崩溃

应避免的反模式

# 悪い例: パスベースのキャッシュ(ファイルの移動/名前変更で壊れる)
cache = {"/path/to/file.pdf": result}

# 悪い例: 処理関数内にキャッシュロジックを追加(SRP違反)
def extract_text(path, *, cache_enabled=False, cache_dir=None):
    if cache_enabled:  # この関数は今や2つの責任を持っている
        ...

# 悪い例: ネストされた凍結データクラスでdataclasses.asdict()を使用
# (複雑なネストされた型で問題を引き起こす可能性がある)
data = dataclasses.asdict(entry)  # 代わりに手動シリアル化を使用

应使用的情况

  • 文件处理流水线(PDF 解析、OCR、文本提取、图像分析)
  • --cache/--no-cache 选项有用的 CLI 工具
  • 同一文件在多次运行中出现的批处理
  • 希望在不修改现有纯函数的情况下添加缓存

不应使用的情况

  • 必须始终最新的数据(实时馈送)
  • 非常大的缓存条目(考虑改用流式处理)
  • 结果依赖于文件内容以外的参数(例如:不同的提取设置)

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 ev/ECC