返回正文目录

非标准数据与多源分析系列大纲

2026-10-25 更新。接Compose第26—28章,按用户确认组织为 第29—34章,已整批实操、写作及整体读者复审,用户按现稿暂定。环境仍为Launcher 0.1.42 / CLI 0.1.25;文件组合方案通过,直接跨源JOIN的既有校验缺口单独保留,未提交GitHub。

主线与案例

从一份 Excel,逐步走到不规范文件、多份文件、遗留系统与人工目标。AI 协助探查和整理,使用者确认标识、粒度、日期和单位,Foggy 承担语义查询与计算。无须先建完整数仓,但保留必要的数据准备。

第29—31章使用Chinook已验证账单导出的文件,保留原始行与基线。问题格式、重复和更正明确标为教学改编,不冒充原始事实。第32—33章实际复用改编的Chinook旧库与教学目标,没有引入WWI新环境。WWI仍贯穿后续适用专题,完整项目系列待高级篇结束后评估。

章节与验收

章节 内容与样例 验收
29 从一份 Excel 开始问数 一张规范账单表;确认工作表、字段、类型与行粒度,接入后查询 文件行数、账单键、总额、客户与国家汇总一致;原文件不改,目录独立
30 不规范的 Excel 怎么整理 标题行、表头、小计、空行、日期混用、金额单位与编码前导零 转换记录能追到文件和行号;未确认记录单列,不默默删行或猜单位
31 多份文件如何合并与更新 月度文件、列名变化、重复、漏项、更正与追加 唯一键与版本明确;重复导入不增加事实,更正能准确覆盖
32 遗留数据库如何建立语义层 命名混乱、历史字段、状态与单位不统一;必要时结合源码说明 映射与口径经确认,并对回参考数据;不要求先改造源系统
33 系统实际与 Excel 目标一起分析 明确标注的目标文件与系统实际,先对齐共同粒度再计算完成率和差额 检查重复目标、未匹配键、期间、单位及版本;目标不随明细重复累计,缺失不补零
34 让文件分析持续复跑 更新输入、数据重载、模型刷新、快照和自动化核对 输入更新能重现;旧版可追溯;区分重载数据与刷新语义模型,说明保留和清理

第 34 章侧重文件更新与来源追溯,不重复第十六章的模型回归基础。日期比较、窗口和 Compose 语法引用既有章节,不重新铺一遍。

本轮整批结果

章节 正文与实操结果
30 不规范文件 4 项查询通过;83 条可确认账单、477.53,3 条待确认保留,默认不发布部分数据
31 多文件更新 7 项查询通过;83 / 477.53 → 84 / 487.53 → 84 / 488.53,重复运行不增行;冲突与缺月拒绝
32 遗留库 3 项查询、一项字段拒绝通过;85 条旧记录中83条有效,分转元与客户映射固定在 viewSql,旧库不改
33 实际与目标 6 项查询通过;4位匹配、43位实际无目标、1位目标无实际,零目标比值为空;重复目标写入前拒绝
34 持续复跑 两轮完整流程各8项执行,目标85→90、实际不变;输入拒绝和切换后恢复通过

第 32 章使用明确改编的 Chinook 教学旧库,没有为此批引入 WWI 新环境;第 33 章走准备层同库对齐,没有将其称作原生跨源 JOIN。完整实操与证据 · 整批读者复审。前一轮第29章13项及重启补验2项保持独立计数,后续系列尚未开写。

能力核对与方案选择

按三个层次分别核对,实际结果与请求保留配套证据:

  1. 文件接入: 检查 0.1.42 capabilities、CLI 帮助、MCP 完整工具清单和发行模块,确认是否存在已公开的 Excel/CSV 接入路径。
  2. 临时 QM: 区分文件导入后可发现的语义模型、普通持久 TM/QM 和内部有界结果 handle;确认注册、重载与清理合同,不能把目录叫“临时”就声称自动过期。
  3. 跨源分析: 分别检查同一数据源内 Compose、多命名数据源单独查询、不同物理库的直接 JOIN 与 Memory Grid。准备层合并不得描述成引擎原生跨源 JOIN。

若原生文件入口未提供,首章采用 AI 读取文件 → 明确类型和口径 → 独立 SQLite → TM/QM → Foggy CLI 的组合路线,并实际验证。Memory Grid 用于受治理的有界结果对齐,不能据白皮书推断它能直接打开磁盘 Excel,也不通过可选源码模块或私有接口绕过公开能力。

本轮 0.1.42 核对与验收确认:外部解析文件 → SQLite → TM/QM → CLI 可用,13 项正常执行及重启后 2 项补验通过。标准包未发现原生文件 / 临时 QM 的公开链路,Memory Grid 不列为本系列已验证接入方式;直接跨源 JOIN 校验通过而执行缺表,已单独记录,未提交 GitHub。同库准备层对齐通过,不冒充联邦查询。

旧 0.1.33 入口核对保留历史证据。第二十九章、读者复审和实操目录为本轮结果入口。

最小实验

每章继续按“简单提示词 → 必要准备 → 查询 → 独立核对”写,创建和查询分开。模型 Markdown 由已加载代码实时获取;正文保留关键源码,完整请求、响应和回归脚本放配套目录。