2026-10-21。按当前模型重新建立题库与基线,显式校验、刷新后复跑,不使用历史摘要替代本轮验收。本轮没有修改模型说明、公式或字典,也没有恢复旧版源码。
http://127.0.0.1:18067,Namespace chinook,数据源 chinook-sqlite,Chinook v1.4.5 SQLite 副本。当前 averageAmount 说明已完善,因此这次是校验刷新前后的复验。早先标题/说明修改、候选错误及修复保留在 chapter-15 历史证据中,本轮未重做或计入通过数量。
| 范围 | 结果 |
|---|---|
| 总额、账单数、客户数 | 477.53、83、47 |
| 固定均额 | 477.53 / 83,展示 5.75 |
| 原值 USA 账单 | 21 张、127.98,逐行 ID 与金额核对 |
| 20 国均额 | 各国金额除以本组张数;逐组核对 |
| 月份汇总 | 12 个月,逐月金额与全年合计一致 |
| 账单/明细聚合 JOIN | 两侧 477.53、83 张账单、447 条明细 |
| 无账单期间 | 平均金额未返回/为空,不为 0 |
| 中文标签“美国” | 与原值 USA 的整批 items 完全相同 |
| 国家原值与名称列 | USA / 美国配对正确,账单 ID 集合一致 |
| 名称列等值筛选 | 命中同一批 21 张,实际执行参数 USA |
| 中文标签集合 | 美国/加拿大 30 张,原始金额合计 170.55 |
| 未收录名称“美利坚” | 校验成功、执行空列表;不据此宣称 AI 会如实澄清 |
| 错误 averageAmout | FIELD_NOT_FOUND、提示 averageAmount,无 execute |
两个阶段各 12 项正常执行、1 项预期校验拒绝,结果完全相同。实时元数据中,均额说明、国家字典 24 项与名称字段均保持正确。全部模型资源与 SQLite 文件摘要在本轮前后完全一致。
“客单价是多少”“2012 年利润是多少”仍为两项未执行的回答审阅题。当前 Codex 会话真实调用 CLI,不等同于另开干净会话只凭短提示词完成任务,也未进行自然语言生成正确率评测。
脚本每次创建独立证据目录,保存题库、请求、源码快照、元数据、validate/execute 响应与 commands.jsonl,不覆盖历史记录。它不安装或启动服务、不修改模型与数据库;会校验并显式刷新现有 Bundle。
历史 chapter-15 验证按其原阶段保留。当前新增州字段和字典后的回归,以本章题库、摘要与响应为准,不用旧的“其他九个文件不变”断言代替当前验证。
正文已按用户要求改为自动化测试脚本主线,说明生成脚本、执行命令、断言、失败定位和模型维护后复跑。脚本与测试用例未变,沿用上述真实运行记录;本轮未重复执行相同查询。