内容哈希文件缓存模式¶
使用 SHA-256 内容哈希作为缓存键,缓存高成本的文件处理结果(PDF 解析、文本提取、图像分析)。与基于路径的缓存不同,这种方法在文件移动/重命名后仍然有效,并在内容变更时自动失效。
启动条件¶
- 构建文件处理流水线(PDF、图像、文本提取)
- 处理成本较高,且同一文件被重复处理
- 需要
--cache/--no-cacheCLI 选项 - 希望在不修改现有纯函数的情况下添加缓存
核心模式¶
1. 基于内容哈希的缓存键¶
使用文件内容而不是路径作为缓存键:
import hashlib
from pathlib import Path
_HASH_CHUNK_SIZE = 65536 # 大きなファイルには64KBチャンク
def compute_file_hash(path: Path) -> str:
"""ファイルコンテンツのSHA-256(大きなファイルにはチャンク処理)。"""
if not path.is_file():
raise FileNotFoundError(f"File not found: {path}")
sha256 = hashlib.sha256()
with open(path, "rb") as f:
while True:
chunk = f.read(_HASH_CHUNK_SIZE)
if not chunk:
break
sha256.update(chunk)
return sha256.hexdigest()
为什么使用内容哈希? 文件重命名/移动 = 缓存命中。内容变更 = 自动失效。无需索引文件。
2. 缓存条目的冻结数据类¶
from dataclasses import dataclass
@dataclass(frozen=True, slots=True)
class CacheEntry:
file_hash: str
source_path: str
document: ExtractedDocument # キャッシュされた結果
3. 基于文件的缓存存储¶
每个缓存条目保存为 {hash}.json — 基于哈希的 O(1) 查找,无需索引文件。
import json
from typing import Any
def write_cache(cache_dir: Path, entry: CacheEntry) -> None:
cache_dir.mkdir(parents=True, exist_ok=True)
cache_file = cache_dir / f"{entry.file_hash}.json"
data = serialize_entry(entry)
cache_file.write_text(json.dumps(data, ensure_ascii=False), encoding="utf-8")
def read_cache(cache_dir: Path, file_hash: str) -> CacheEntry | None:
cache_file = cache_dir / f"{file_hash}.json"
if not cache_file.is_file():
return None
try:
raw = cache_file.read_text(encoding="utf-8")
data = json.loads(raw)
return deserialize_entry(data)
except (json.JSONDecodeError, ValueError, KeyError):
return None # 破損をキャッシュミスとして扱う
4. 服务层包装器(SRP)¶
保持处理函数纯粹。将缓存作为另一个服务层添加。
def extract_with_cache(
file_path: Path,
*,
cache_enabled: bool = True,
cache_dir: Path = Path(".cache"),
) -> ExtractedDocument:
"""サービスレイヤー: キャッシュチェック -> 抽出 -> キャッシュ書き込み。"""
if not cache_enabled:
return extract_text(file_path) # 純粋な関数、キャッシュの知識なし
file_hash = compute_file_hash(file_path)
# キャッシュを確認
cached = read_cache(cache_dir, file_hash)
if cached is not None:
logger.info("Cache hit: %s (hash=%s)", file_path.name, file_hash[:12])
return cached.document
# キャッシュミス -> 抽出 -> 保存
logger.info("Cache miss: %s (hash=%s)", file_path.name, file_hash[:12])
doc = extract_text(file_path)
entry = CacheEntry(file_hash=file_hash, source_path=str(file_path), document=doc)
write_cache(cache_dir, entry)
return doc
主要设计决策¶
| 决策 | 依据 |
|---|---|
| SHA-256 内容哈希 | 不依赖路径,内容变更时自动失效 |
{hash}.json 文件命名 |
O(1) 查找,无需索引文件 |
| 服务层包装器 | SRP:保持提取纯粹,缓存是另一关注点 |
| 手动 JSON 序列化 | 完全控制冻结数据类的序列化 |
损坏时返回 None |
优雅降级,下次运行时重新处理 |
cache_dir.mkdir(parents=True) |
首次写入时延迟创建目录 |
最佳实践¶
- 哈希内容而不是路径 — 路径会变化,但内容身份不变
- 对大文件分块哈希 — 避免将整个文件读入内存
- 保持处理函数纯粹 — 让它对缓存一无所知
- 用截断的哈希记录缓存命中/未命中 — 便于调试
- 优雅处理损坏 — 将无效缓存条目视为未命中,而不是崩溃
应避免的反模式¶
# 悪い例: パスベースのキャッシュ(ファイルの移動/名前変更で壊れる)
cache = {"/path/to/file.pdf": result}
# 悪い例: 処理関数内にキャッシュロジックを追加(SRP違反)
def extract_text(path, *, cache_enabled=False, cache_dir=None):
if cache_enabled: # この関数は今や2つの責任を持っている
...
# 悪い例: ネストされた凍結データクラスでdataclasses.asdict()を使用
# (複雑なネストされた型で問題を引き起こす可能性がある)
data = dataclasses.asdict(entry) # 代わりに手動シリアル化を使用
应使用的情况¶
- 文件处理流水线(PDF 解析、OCR、文本提取、图像分析)
--cache/--no-cache选项有用的 CLI 工具- 同一文件在多次运行中出现的批处理
- 希望在不修改现有纯函数的情况下添加缓存
不应使用的情况¶
- 必须始终最新的数据(实时馈送)
- 非常大的缓存条目(考虑改用流式处理)
- 结果依赖于文件内容以外的参数(例如:不同的提取设置)
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 ev/ECC