Function demonstrate_latch_pattern

tutorials/16_prompt_building_and_compaction.py:828–874

Latch 模式 — reference/15 问题: Anthropic API 支持 prompt caching， 如果系统提示词的前缀不变，可以省大量 token 费用。 但系统提示词中有动态内容（日期、git status 等）， 每次请求都可能变化，导致缓存失效。 解决方案: Latch 模式 1. 把系统提示词分成"静态"和"动态"两部分 2. 静态部分放在前面，用 DYNAMIC_BOUNDARY 分隔 3. API 客户端在 DYNAMIC_BOUNDARY 处插入 cache_control 4.

()

# 这是一个非常精妙的工程技巧。

def demonstrate_latch_pattern():
    """Latch 模式 — reference/15

    问题: Anthropic API 支持 prompt caching，
    如果系统提示词的前缀不变，可以省大量 token 费用。
    但系统提示词中有动态内容（日期、git status 等），
    每次请求都可能变化，导致缓存失效。

    解决方案: Latch 模式
    1. 把系统提示词分成"静态"和"动态"两部分
    2. 静态部分放在前面，用 DYNAMIC_BOUNDARY 分隔
    3. API 客户端在 DYNAMIC_BOUNDARY 处插入 cache_control
    4. 这样静态部分可以被缓存，动态部分每次重新计算

    更巧妙的是: 一旦某个 section 的值被"锁定"（latch），
    即使底层数据变了，这次会话内也不再更新。
    这防止了会话中途 git status 变化导致缓存失效。
    """
    print("\n=== Latch 模式（缓存稳定性）===")

    # 模拟两次构建
    builder = SystemPromptBuilder()
    ctx1 = ProjectContext(
        cwd=Path("/project"),
        current_date="2026-04-02",
        git_status="## main\nM src/main.rs",
    )
    sections1 = builder.with_os("darwin", "25.2").with_project_context(ctx1).build()

    # 找到 boundary 的位置
    boundary_idx = None
    for i, s in enumerate(sections1):
        if s == SYSTEM_PROMPT_DYNAMIC_BOUNDARY:
            boundary_idx = i
            break

    print(f"总共 {len(sections1)} 个 sections")
    print(f"DYNAMIC_BOUNDARY 在索引 {boundary_idx}")
    print(f"  静态部分: sections[0:{boundary_idx}] — 可缓存")
    print(f"  动态部分: sections[{boundary_idx+1}:] — 每次可能变")

    # 展示缓存效果
    static_size = sum(len(s) for s in sections1[:boundary_idx])
    dynamic_size = sum(len(s) for s in sections1[boundary_idx+1:])
    print(f"\n  静态部分大小: ~{static_size} 字符 ≈ {static_size//4} tokens（缓存命中）")
    print(f"  动态部分大小: ~{dynamic_size} 字符 ≈ {dynamic_size//4} tokens（每次计算）")
    print(f"  缓存节省: {static_size / (static_size + dynamic_size) * 100:.0f}% 的系统提示词被缓存")


# ============================================================