RouteMarket 文档
CLI 配置

可选缓存代理

通过本地缓存代理提升缓存命中率,降低 CLI 工具的调用成本。

部分 CLI 工具(尤其是编码类 Agent)在多轮对话中会重复发送大量相同的上下文(系统提示词、历史消息等)。如果这些请求没有命中上游的提示词缓存,每一轮都会重新计费全部上下文长度,成本会显著增加。

基本原理

本地缓存代理运行在你的机器和 RouteMarket 网关之间,作用是:

  • 尽量把结构相同的请求以一致的方式转发,提升上游缓存命中率
  • 在本地对短时间内的重复请求做去重或复用
  • 不改变模型的实际返回内容,只影响请求的组织方式
CLI 工具 → 本地缓存代理 (127.0.0.1:port) → https://api.routemarket.ai

是否需要使用

  • 如果你的日常用量以短对话、单次请求为主,通常不需要额外的缓存代理。
  • 如果你在使用编码类 Agent 进行长时间、多轮、大上下文的会话,缓存代理可能带来明显的成本优化。

配置方式

  1. 安装并启动本地缓存代理(具体命令待官方工具发布后补充)。
  2. 将 CLI 工具的 base_url / ANTHROPIC_BASE_URL 指向代理监听的本地地址,而不是直接指向 https://api.routemarket.ai
  3. 代理会将实际请求转发到 RouteMarket 网关。

该功能为可选优化项,不影响基础功能的可用性。如果你不确定是否需要,可以先跳过,后续按需再启用。