Skip to content

补充 Agent 可观测性:加入 OrcaReplay(运行录制与离线回放) - #13

Open
xizhuomengcontin wants to merge 1 commit into
summerjava:mainfrom
xizhuomengcontin:add-orcareplay
Open

xizhuomengcontin wants to merge 1 commit into
summerjava:mainfrom
xizhuomengcontin:add-orcareplay

Conversation

@xizhuomengcontin

Copy link
Copy Markdown

改了什么

在 ### Agent可观测性 小节里加了一条:OrcaReplay。

为什么这一节需要它

这一节现在只有一条「从 AI Agent 到模型推理:端到端 AI 可观测实践」,讲的是链路追踪、指标、成本这类能力——它们回答的是「这次运行花了多少钱、卡在哪一步」。

缺的一侧是「能不能把这一次运行原样拿回来」。多数 coding agent 的行为无法重放:再跑一遍得到的是另一个失败,而 provider 侧的原始请求在终端关闭后就消失了。

OrcaReplay 补的是这一段:它架在 agent 与模型 provider 之间,把一次运行的真实字节流(每一轮请求、流式响应、工具调用与结果)录成本地 trace 文件,之后 orca replay last 可以在完全断网、不调用模型、不花钱的前提下按字节重放这次运行;orca compare 则从任意 checkpoint 把这次录像 fork 到另一个模型上重跑,让「换个模型会不会做对」变成一个变量受控的实验。它不要求改动 agent 代码(走 base URL / fetch hook),Apache-2.0,Node CLI。

对于一个列好了「怎么看 Agent」的路线图来说,「怎么看一次已经失败的 Agent 运行」是相邻但独立的一步,放在这里最合适。

Disclosure: I maintain OrcaReplay.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant