已开启
test: 添加 v5.1.0 综合测试报告(含智能体专项测试) #1103
test: 添加 v5.1.0 综合测试报告(含智能体专项测试) #1103
已开启
2501_93773090创建于 12 天前
2501_93773090
2501_93773090
12 天前

改动内容

对 AtomCode v5.1.0(a291bae1)进行了一轮综合测试,新增测试报告 docs/testing/v5.1.0-agent-test-report.md。

测试类型:传统测试(静态/功能/兼容性)+ 智能体专项测试

智能体专项测试覆盖(针对 LLM Agent 特有风险面):

  • 工具调用与审批门控(bypass/auto-approve 覆盖矩阵)
  • Skill !cmd`` 命令注入面(对应 #1274)
  • run_to_completion 错误吞噬致假成功(对应 #1282)
  • 记忆 === MEMORY === 无条件全量注入的设计风险
  • MCP 模块外部输入边界错误处理(114 处 unwrap/panic)
  • Provider 静默 fallback 可观测性(对应 #1322/#1300)
  • 子代理生命周期单点设计

结论摘要:10 项测试,4 项高危(注入面/错误吞噬/静默降级/记忆无界增长),并给出 5 条智能体测试方法建议(审批覆盖矩阵、注入面清单、降级可观测性测试、记忆预算测试、长任务混沌测试),供 v5.2 规划参考。

改动文件

  • docs/testing/v5.1.0-agent-test-report.md(新增,122 行)
likedislike
合并受阻
2501_937730902501_93773090
12 天前 关联了issue:[security] hook/skill `sh -c` execution lacks source whitelist — command injection surface,run_to_completion 忽略 Agent 任务 panic,导致失败被报告为正常完成
atomgit-bot
atomgit-bot成员
12 天前 评论:

变更摘要

本次变更在站点文档中新增了一条关于「长任务中途偶发报错 / 回合中断」的常见问题解答,覆盖 401、403、空响应、connection closed 等场景,并同步更新中英文 FAQ 页面与对应的搜索索引。中英文内容保持一致,围绕额度检查、重新同步、重试与恢复会话、日志排查四个方向给出处理步骤。

主要改动

  • 新增长任务中断排查 FAQ(英文): 在 site/docs/en/faq.html 中新增「Intermittent errors / interrupted turns in long tasks」小节,建议依次使用 /status、/usage 查看配额与限流、/login 刷新模型列表与 token、/resume 恢复会话,并通过 ~/.atomcode/logs/ 与 --log-level debug 定位问题。
- **新增长任务中断排查 FAQ(中文)**: 在 `site/docs/zh/faq.html` 中新增对应中文小节,说明额度按 5 小时滚动窗口计量,并给出与英文版一致的 `/status`、`/usage`、`/login`、`/resume` 及日志排查指引。
  • 同步搜索索引(中英文): 在 site/docs/search-index.en.json 与 site/docs/search-index.zh.json 中新增该 FAQ 条目的 id、heading、body,使新增问答可被文档搜索检索到。
likedislike
不准确?
atomgit-bot
atomgit-bot成员
12 天前 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
atomgit-bot
atomgit-bot成员
12 天前 评论:

AtomGit AI 助手使用指南

在 PR 评论中使用命令即可触发。支持在普通评论和代码行评论中使用。

功能 命令 说明
代码审查 /ai review 检查代码质量、潜在问题、安全风险
PR 摘要 /ai summary 生成 PR 变更内容的结构化摘要
代码解释 /ai explain 解释代码变更的逻辑和意图
自由提问 @atomgit-bot <问题> 询问关于本 PR 的任何问题
帮助 /ai help 显示此帮助信息

免责声明

AI 助手可能存在误判,请结合自身判断。可以对评论点 👍 或 👎 帮助我们改进。

likedislike
不准确?
2501_937730902501_93773090
12 天前 强制推送  1 个提交:1711793a-test: 添加 v5.1.0 综合测试报告(含智能体专项测试)
atomgit-bot
atomgit-bot成员
12 天前 评论:

AtomGit AI 助手使用指南

在 PR 评论中使用命令即可触发。支持在普通评论和代码行评论中使用。

功能 命令 说明
代码审查 /ai review 检查代码质量、潜在问题、安全风险
PR 摘要 /ai summary 生成 PR 变更内容的结构化摘要
代码解释 /ai explain 解释代码变更的逻辑和意图
自由提问 @atomgit-bot <问题> 询问关于本 PR 的任何问题
帮助 /ai help 显示此帮助信息

免责声明

AI 助手可能存在误判,请结合自身判断。可以对评论点 👍 或 👎 帮助我们改进。

likedislike
不准确?
2501_937730902501_93773090
12 天前 修改了pull request 的描述
atomgit-bot
atomgit-bot成员
12 天前 评论:

变更摘要

本 PR 标题与描述声称以软件测试师视角新增 AtomCode v5.1.0 综合测试报告(含智能体专项测试),但实际嵌入的改动补丁集中在用户文档侧:在 site/docs/zh/faq.html 与 site/docs/en/faq.html 中新增"长任务中途偶发报错 / 回合中断"的排查章节,并同步更新 search-index.zh.json、search-index.en.json 两个搜索索引文件,使新增 FAQ 可被检索。

主要改动

  • 新增中英双语 FAQ 章节:在 site/docs/zh/faq.html 与 site/docs/en/faq.html 中新增"长任务中途偶发报错 / 回合中断(401、403、空响应、connection closed)"章节,面向长任务中断类问题的排查。
  • 给出具体排查流程:新章节列出四步操作——用 /status 查看 CodingPlan 用量与 5 小时滚动窗口重置时间、用 /usage 查询计划配额判断是否限流、用 /login 幂等刷新模型列表与 token、偶发断连时重试或用 /resume 恢复会话,并在仍复现时通过 --log-level debug 与 ~/.atomcode/logs/ 日志定位限流、网络或网关问题。
  • 同步搜索索引条目:在 search-index.zh.json 与 search-index.en.json 中分别新增与该 FAQ 对应的 id、heading、body 条目,保证新增内容进入站点搜索索引。
likedislike
不准确?
atomgit-bot
atomgit-bot成员
12 天前 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
2501_937730902501_93773090
11 天前 推送  1 个提交:4baa4f7f-docs(test): 更正 T-05 结论,生产代码无 panic 点
atomgit-bot
atomgit-bot成员
11 天前 评论:

AtomGit AI 助手使用指南

在 PR 评论中使用命令即可触发。支持在普通评论和代码行评论中使用。

功能 命令 说明
代码审查 /ai review 检查代码质量、潜在问题、安全风险
PR 摘要 /ai summary 生成 PR 变更内容的结构化摘要
代码解释 /ai explain 解释代码变更的逻辑和意图
自由提问 @atomgit-bot <问题> 询问关于本 PR 的任何问题
帮助 /ai help 显示此帮助信息

免责声明

AI 助手可能存在误判,请结合自身判断。可以对评论点 👍 或 👎 帮助我们改进。

likedislike
不准确?
atomgit-bot
atomgit-bot成员
11 天前 评论:

变更摘要

本 PR 标题与描述指向新增 v5.1.0 综合测试报告 docs/testing/v5.1.0-agent-test-report.md,但实际嵌入的补丁内容为站点 FAQ 文档的补充:在英文与中文 faq.html 中新增了「长任务中途偶发报错 / 回合中断(401、403、空响应、connection closed)」的排查条目,并同步更新了中英文搜索索引 search-index.en.json、search-index.zh.json,为长任务中断类问题提供额度、重新同步、重试与日志排查的指引。

主要改动

  • 新增中英文 FAQ 排查条目: 在 site/docs/zh/faq.html 与 site/docs/en/faq.html 中各新增一段「长任务中途偶发报错 / 回合中断」内容,覆盖 401、403、空响应、connection closed 等场景。
  • 补充诊断与恢复命令指引: 条目建议通过 code/statuscode 查看 CodingPlan 用量与重置时间(5 小时滚动窗口)、code/usagecode 查询配额限流,以及用 code/logincode 幂等刷新模型列表与 token、code/resumecode 恢复会话。
- **新增日志排查说明**: 引导用户查看 `code`~/.atomcode/logs/`code`,并以 `code`--log-level debug`code` 启动以打印请求/响应详情,用于区分限流、网络或网关问题。
  • 同步搜索索引: 在 site/docs/search-index.zh.json 与 site/docs/search-index.en.json 中新增对应条目的 codeidcode、codeheadingcode、codebodycode 记录,使该 FAQ 内容可被站内搜索检索到。
likedislike
不准确?
atomgit-bot
atomgit-bot成员
11 天前 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
2501_937730902501_93773090
11 天前 推送  1 个提交:0be4fd2f-docs(test): T-04 措辞更正,行为退化标注为待验证推断
atomgit-bot
atomgit-bot成员
11 天前 评论:

AtomGit AI 助手使用指南

在 PR 评论中使用命令即可触发。支持在普通评论和代码行评论中使用。

功能 命令 说明
代码审查 /ai review 检查代码质量、潜在问题、安全风险
PR 摘要 /ai summary 生成 PR 变更内容的结构化摘要
代码解释 /ai explain 解释代码变更的逻辑和意图
自由提问 @atomgit-bot <问题> 询问关于本 PR 的任何问题
帮助 /ai help 显示此帮助信息

免责声明

AI 助手可能存在误判,请结合自身判断。可以对评论点 👍 或 👎 帮助我们改进。

likedislike
不准确?
atomgit-bot
atomgit-bot成员
11 天前 评论:

变更摘要

本次变更主要为 FAQ 文档补充了「长任务中途偶发报错 / 回合中断」的排查指引,并在中英文搜索索引中同步新增对应条目。该指引针对 401、403、空响应、connection closed 等场景,给出按顺序的排查步骤:先用 /status 或 /usage 确认额度与限流情况,再用 /login 幂等刷新模型列表与 token,偶发断连可重试或用 /resume 恢复会话,仍复现则通过 ~/.atomcode/logs/ 配合 --log-level debug 查看请求/响应详情。

主要改动

  • 新增长任务中断排查 FAQ(英文): 在 site/docs/en/faq.html 中新增 <h3> 小节,围绕 401、403、空响应、connection closed 提供额度检查、重新同步、重试/恢复、日志排查四步指引。
  • 新增长任务中断排查 FAQ(中文): 在 site/docs/zh/faq.html 中新增对应中文小节,内容与英文版一致,涉及 /status、/usage、/login、/resume、--log-level debug 等命令与参数。
  • 同步中英文搜索索引: 在 site/docs/search-index.en.json 与 site/docs/search-index.zh.json 中分别新增该 FAQ 的 id、heading、body 条目,使新内容可被站点搜索检索到。
likedislike
不准确?
2501_937730902501_93773090
11 天前 推送  1 个提交:60d39734-docs(test): T-04 补充对照实测数据(60条记忆 +28% token)
atomgit-bot
atomgit-bot成员
11 天前 评论:

AtomGit AI 助手使用指南

在 PR 评论中使用命令即可触发。支持在普通评论和代码行评论中使用。

功能 命令 说明
代码审查 /ai review 检查代码质量、潜在问题、安全风险
PR 摘要 /ai summary 生成 PR 变更内容的结构化摘要
代码解释 /ai explain 解释代码变更的逻辑和意图
自由提问 @atomgit-bot <问题> 询问关于本 PR 的任何问题
帮助 /ai help 显示此帮助信息

免责声明

AI 助手可能存在误判,请结合自身判断。可以对评论点 👍 或 👎 帮助我们改进。

likedislike
不准确?
atomgit-bot
atomgit-bot成员
11 天前 评论:

变更摘要

本次变更围绕 AtomCode v5.1.0 的综合测试与文档补充展开:PR 描述声明新增测试报告 docs/testing/v5.1.0-agent-test-report.md,而在已嵌入的补丁中,实际改动集中在站点 FAQ 文档及搜索索引,新增了一条关于「长任务中途偶发报错 / 回合中断」的排查说明,并同步更新中英文搜索索引条目。该说明为 401、403、空响应、connection closed 等间歇性错误提供了从额度、登录同步、会话恢复到日志排查的处置指引。

主要改动

  • 新增 FAQ 排查条目: 在 site/docs/en/faq.html 与 site/docs/zh/faq.html 中新增「Intermittent errors / interrupted turns in long tasks」/「长任务中途偶发报错 / 回合中断」小节,覆盖 401、403、空响应、connection closed 等场景。
  • 给出额度与限流排查路径: 指引用户运行 /status 查看 CodingPlan 用量与重置时间(按 5 小时滚动窗口计量),或用 /usage 查询计划配额以确认是否触发限流。
  • 给出重同步与恢复操作: 建议执行 /login 幂等刷新模型列表与 token 以恢复后续调用,偶发断连可直接重试或用 /resume 恢复上一次会话。
- **补充日志排查手段**: 提示查看 `~/.atomcode/logs/`,并通过 `--log-level debug` 启动以打印请求/响应详情,区分限流、网络或网关侧问题。
  • 同步搜索索引: 在 site/docs/search-index.en.json 与 site/docs/search-index.zh.json 中新增对应条目(含 id、heading、body),使新 FAQ 内容可被检索。
likedislike
不准确?
atomgit-bot
atomgit-bot成员
11 天前 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
atomgit-bot
atomgit-bot成员
11 天前 评论:

代码审查

✅ 未发现问题

likedislike
不准确?
2501_937730902501_93773090
11 天前 推送  1 个提交:62983d6e-docs(test): T-04 按 v5.2.0 修复结果更正
atomgit-bot
atomgit-bot成员
11 天前 评论:

AtomGit AI 助手使用指南

在 PR 评论中使用命令即可触发。支持在普通评论和代码行评论中使用。

功能 命令 说明
代码审查 /ai review 检查代码质量、潜在问题、安全风险
PR 摘要 /ai summary 生成 PR 变更内容的结构化摘要
代码解释 /ai explain 解释代码变更的逻辑和意图
自由提问 @atomgit-bot <问题> 询问关于本 PR 的任何问题
帮助 /ai help 显示此帮助信息

免责声明

AI 助手可能存在误判,请结合自身判断。可以对评论点 👍 或 👎 帮助我们改进。

likedislike
不准确?
atomgit-bot
atomgit-bot成员
11 天前 评论:

变更摘要

本 PR 的目标是对 AtomCode v5.1.0(a291bae1)进行一轮综合测试并沉淀文档:按描述新增测试报告 docs/testing/v5.1.0-agent-test-report.md,覆盖工具调用与审批门控、Skill !cmd`` 注入面、run_to_completion 错误吞噬、记忆注入、MCP 边界处理、Provider 静默 fallback、子代理生命周期等 LLM Agent 特有风险面,并给出智能体测试方法建议。除此之外,实际补丁集中在站点 FAQ 文档:为中英文 FAQ 各新增「长任务中途偶发报错 / 回合中断」章节,并同步更新中英文搜索索引。


主要改动

  • 新增长任务偶发报错排查 FAQ(英文):在 site/docs/en/faq.html 增加 “Intermittent errors / interrupted turns in long tasks (401, 403, empty responses, connection closed)” 章节,列出额度、重新同步、重试与日志四类排查方向。
  • 新增对应中文 FAQ 章节:在 site/docs/zh/faq.html 增加同一主题的中文内容,给出 /status(CodingPlan 用量与 5 小时滚动窗口重置时间)、/usage(计划配额与限流确认)、/login(幂等刷新模型列表与 token)、/resume(恢复上次会话)以及 ~/.atomcode/logs/ 配合 --log-level debug 的排查路径。
  • 同步搜索索引(英文):在 site/docs/search-index.en.json 新增 intermittent-errors-interrupted-turns-in-long-tasks-401-403- 条目,使新增 FAQ 标题与正文可被检索。
  • 同步搜索索引(中文):在 site/docs/search-index.zh.json 新增 长任务中途偶发报错-回合中断401403空响应connection-closed 条目,保持中英文检索内容一致。
likedislike
不准确?
atomgit-bot
atomgit-bot成员
11 天前 评论:

代码审查

✅ 未发现问题

likedislike
不准确?