AI 数据分析技术原理与项目实践

2026-10-23 编排更新：基础实战篇至第十六章；时间系列第 17—21 章已按教学环境 0.1.37 更新并整体复审待阅。原两组引擎问题已修复复测，教学端口 33 项执行与 3 项预期拒绝通过；其余高级系列暂不定号。

大纲版本：v10。更新日期：2026 年 10 月 22 日。

全书的主目标是：如何建立一个让 AI 能够正确、如实回答用户问数问题的语义层。“正确”要求问题理解、业务口径、查询与计算符合预期；“如实”要求回答有执行结果支撑，交代数据范围和限制，信息不足时澄清，查询失败时说明情况。

这套资料面向有一定编程或数据库基础、希望理解并使用 AI 数据分析的读者，分为技术篇、实战篇和高级篇。全书以 AI 怎样理解问题、获得上下文、构造查询并使用工具完成分析为主线。技术篇先讲直接 SQL 与语义 DSL 的问数链路，再讨论方案选择与系统分工；实战篇以 Codex 桌面端与 PowerShell 为固定工具，先认识 Foggy 并接入 Chinook，再完成探查、建模、分析与核对，再通过 Analytics Console 接入 FAP，交付浏览器在线问数；高级篇先沿用 Chinook 集中讲时间分析，再扩展 WWI 企业案例、异构数据、分阶段查询、多维分析，以及语义 SQL 与统一执行计划。

整套内容围绕客户销售分析逐步展开，可按章组织文章、教程、演示视频和技术交流。ETL 作为必要的数据准备知识简要介绍，应用实践以尚未建设数仓的场景为起点。

阅读目标与组织方式

篇章	章节	核心问题	完成后的目标
技术篇	1 至 5	怎样让 AI 理解业务、调用查询并依据结果回答	能理解语义模型、查询表达与系统分工
基础实战篇	6 至 16	怎样让 AI 使用 CLI 完成接入、建模、查询和基础维护	能验证一个语义问数项目，在线接入随后编排
高级篇	基础篇完成后定号	多种数据来源与复杂分析怎样统一组织	能设计并逐步验证跨源、分阶段和多维分析案例

技术篇采用“问题、示例、原理、取舍”的结构。实战篇采用“业务目标 → 给 AI 的任务 → AI 调用 CLI 与工具 → 输出和证据 → 人确认口径 → 核对与修正”的结构。高级篇延续 AI 与 CLI 的实践方式，增加数据粒度、阶段输入输出、资源限制和一致性说明。

实战篇区分两个使用阶段：开发者在准备阶段与 AI 协作，AI 使用 CLI 探查数据、生成模型文件、校验与执行查询；业务用户在交付后直接打开 Console 问数。SQL、DSL、配置和命令用于解释 AI 做了什么，并为读者提供可核对的结果。

三条查询路线

路线	查询过程	重点
直接 SQL	自然语言 → 物理 SQL → 数据库执行	AI 根据真实表结构与上下文生成 SQL
语义 DSL	自然语言 → 语义 DSL → 物理 SQL → 数据库执行	业务定义由语义模型承载，查询意图用结构化 DSL 表达
语义 SQL 入口	自然语言 → 语义 SQL → DSL → 物理 SQL → 数据库执行	AI 基于虚拟业务表或模型写 SQL，系统解析为统一查询表达后编译执行

第三条路线中，前一个 SQL 面向语义层的虚拟数据模型，后一个 SQL 面向真实物理表。SQL 和 DSL 可以成为统一语义引擎的不同入口。入门先掌握前两条路线，第三条留到高级篇的语义 SQL 与统一计划专题；不要求初学者先选择 DSL 或语义 SQL。

技术篇

第 1 章从自然语言到 SQL

用“某月客户销售额排名”展示问题、Schema、生成 SQL、执行和结果返回。
认识模型需要的表结构、字段说明、样例与业务上下文。
归纳 AI 需要理解的结构、业务规则和查询工具职责，为后续对比作准备。

第 2 章 SQL 能执行结果为什么仍可能不对

区分订单金额、开票收入、含税与不含税、退款与日期口径。
说明数据粒度、一对多关联和重复累计如何影响结果。
介绍用户数据范围、数据缺失和结果复核问题。

第 3 章语义层的作用与代价

介绍业务对象、主键、粒度、维度、属性、指标与关联，说明公开字段仍有组合约束。
用结构化模型示意和规则展开过程，解释模型解析、字段绑定、聚合规划与查询编译，说明语义层为何不只是提示词或字段文档。
区分模型源文件、导出给 LLM 的查询元数据和执行引擎，展示模型导出描述、LLM 构造请求、引擎执行、LLM 根据返回结果回答的完整链路。
区分查询正确与回答如实：结果要保留口径、范围与执行状态，避免把部分结果说成整体，或把查询失败说成没有数据。
解释提供业务说明与执行模型规则两种作用，以及它们怎样配合。
聚焦自定义 DSL 的适配代价：LLM 除业务元数据外还需要协议说明、工具 Schema 和示例；仅提及语义层也可提供 SQL 入口，详细讨论留到高级篇。本章不引入具体产品。
简述 ETL 与语义层的分工：ETL 负责抽取、转换和落地，语义层负责定义查询的业务意义并组织执行；数据质量与指标定义共同影响结果。

第 4 章自然语言到 DSL 再到 SQL

AI 根据语义模型选择字段、条件、分组、聚合和排序，结合业务别名、值映射或维度成员查询确定字段值，解释相对日期。
对照聚合前与聚合后筛选，说明请求合法不等于计算阶段正确。
引擎完成校验、指标展开、关联规划和数据库方言转换。
沿用产品无关的语义模型与字段，用教学 DSL 展示查询意图怎样转成物理 SQL；具体引擎、TM/QM 与工具放到实战篇。

第 5 章怎样选择和组织问数方案

根据使用者审查 SQL 的能力、指标复用和交付要求，判断直接 Text-to-SQL 或语义层的起点；两种方式可以并存。
区分复用已有分析系统、接入独立语义服务、利用数据平台语义能力等组合方式。
看清工具返回元数据、执行物理 SQL 或执行语义查询时，各自承担什么。
解释多步 Agent 的任务拆解与语义层的规则执行怎样配合。
用一个查询与一次追问检查定义、执行、结果依据和回答边界，不要求初学者比较产品或 SQL/DSL 入口。

基础实战篇

当前为第 6—16 章，统一用 Chinook 与 AI/CLI。第 6—13 章已有正文，第十一章收紧为按日期与月份汇总；第十四章已获用户确认；第十五章字典新稿、第九/十/十二章补充已实操自审待阅，维护章顺延第十六章。细节以基础实战大纲与功能进度为准。

章节	功能
第 6 章认识 Foggy，准备第一个问数项目	引擎与工具介绍、发行资源、连接与数据源绑定
第 7 章探查 Chinook 并确认业务口径	表关系、粒度、日期、金额与独立核对
第 8 章生成语义模型并完成首次问数	TM/QM、加载、实时元数据与首次语义查询
第 9 章筛选数据	slice/having、条件组合；文字、排除和空值待补
第 10 章聚合与计算指标	聚合、临时/固定公式、平均与占比；条件指标选补
第 11 章按日期与月份汇总数据	日期自维度、年月属性、范围和跨年月汇总
第 12 章维度成员与多级关联	成员、name/alias、下钻、排序分页；去重和合计已补
第 13 章查询范围与权限	模型、字段、行与成员范围
第 14 章在 QM 中关联多个 TM：普通 JOIN 与聚合 JOIN	QM 的 model/joins、聚合 relation、普通 DSL、粒度与对账
第 15 章字典与业务名称	稳定 value/label 映射、实时元数据、名称查询与标签转换边界
第 16 章模型维护与自动化回归	维护定义、校验刷新、实时元数据、数值与字典回归、分层验收

第十四章在一个 QM 内加载账单与明细 TM，用 model + joins 定义普通关联，再用 groupBy/sum/count/as 定义聚合关系后关联。查询端仍是一个 QM 加普通 DSL；动态 Compose 与 CTE 组合查询放高级篇。用 447 条明细与 83 张账单对照粒度，逐张和逐客户核对金额。

在线接入

基础功能讲完后，再规划 Analytics Console/FAP、浏览器连续问数与交接的系列和章号。复用基础模型、定义和题库，页面可访问、服务绑定与实际取数分别验收，不能用终端查询通过代替在线问数通过。

高级篇专题

2026-10-25进度：第一阶段正文第1—40章已完成，最后的性能系列第37—40章已实操、自审。统一交付HTML、Markdown与PDF审阅稿，发表须经用户审阅；Console/FAP与FDP模型维护转第二阶段，Dashboard与报表为第三阶段。见高级篇大纲与产品阶段。

时间分析系列： 第 17—21 章依次为期间计算、业务日历与可比期间、存量快照、业务时效、同期群与留存选讲。按最新要求整批完成后统一审阅，所需 Compose 只作最小说明；实际结果、限制与正文见时间系列大纲。
高级建模与多维分析： 父子维、层级汇总、Pivot 与下钻。
分阶段与组合分析： Compose、CTE 和多个 QM 动态组合。
非标准数据与多源分析： Excel、遗留库、数据整理与跨源对齐。
语义SQL与查询入口： 第35—36章，SQL表达语义查询、转换与共同执行规则；第35章按已验证的AI转DSL路线讲解，原生SQL解析不作已交付承诺。
性能与持续运行： 第37—40章，下推、缓存证据、预聚合、更新、分页与一致性，已实操、自审。

WWI 贯穿适用专题，不单独占一个系列。高级篇完成后，再评估是否另出一套完整的 WWI 项目系列；教学扩展与非标准数据样例明确区分于 WWI 原始数据。

单 QM 内多 TM JOIN 与聚合 JOIN 属于基础建模；多个 QM 的动态 Compose/CTE 组合仍放高级篇。语义 SQL 的两份现有草稿保留历史文件名，正式章号以后确定；没有可运行双入口时不伪造等价性结果。此前暂缓的 Text-to-SQL 多次生成评测继续暂缓。

写作与资料约定

各章按“业务任务 → 模型准备（需要时）→ AI 调用 CLI → 结果 → 独立核对”展开，提示词简单，创建与查询分开。模型 Markdown 根据已加载代码实时获取，不需人工预生成。

SQL 或逐笔计算用于独立核对，不作为语义查询失败后的绕行回答路径。保留每章源码、请求、结果和复跑记录；改编章节不删除原证据，也不将旧版本的通过结论扩大到新增能力。

参考：开放数据与许可、逐章写作素材、功能覆盖审查、章节入口。