CLI 配置
可选缓存代理
通过本地缓存代理提升缓存命中率,降低 CLI 工具的调用成本。
部分 CLI 工具(尤其是编码类 Agent)在多轮对话中会重复发送大量相同的上下文(系统提示词、历史消息等)。如果这些请求没有命中上游的提示词缓存,每一轮都会重新计费全部上下文长度,成本会显著增加。
基本原理
本地缓存代理运行在你的机器和 RouteMarket 网关之间,作用是:
- 尽量把结构相同的请求以一致的方式转发,提升上游缓存命中率
- 在本地对短时间内的重复请求做去重或复用
- 不改变模型的实际返回内容,只影响请求的组织方式
CLI 工具 → 本地缓存代理 (127.0.0.1:port) → https://api.routemarket.ai是否需要使用
- 如果你的日常用量以短对话、单次请求为主,通常不需要额外的缓存代理。
- 如果你在使用编码类 Agent 进行长时间、多轮、大上下文的会话,缓存代理可能带来明显的成本优化。
配置方式
- 安装并启动本地缓存代理(具体命令待官方工具发布后补充)。
- 将 CLI 工具的
base_url/ANTHROPIC_BASE_URL指向代理监听的本地地址,而不是直接指向https://api.routemarket.ai。 - 代理会将实际请求转发到 RouteMarket 网关。
该功能为可选优化项,不影响基础功能的可用性。如果你不确定是否需要,可以先跳过,后续按需再启用。