Text-to-SQL 是决定对话式 BI 平台是玩具还是工具的那一项能力。模型是最容易的部分;难点在于让生成的 SQL 在生产中可信、有界、可审计。
生产究竟意味着什么
Demo 针对一张整洁的表回答一个精心准备的问题。生产意味着成千上万用户对着每周都在变的几十张表,问出不可预测的问题。这两种状态之间的鸿沟,是大多数 Text-to-SQL 项目消亡之处。生产级意味着:每条生成的查询都可解释、每个结果都有界、每个答案都注明出处。
从语义层起步,而非原始表
最常见的错误是把模型直接指向原始数据仓库。原始 schema 满是晦涩列名、反范式事实与无文档的连接。相反,应建立语义层:一组具业务含义的策展实体——营收、订单、活跃客户——并附明确定义。模型对着语义层写 SQL,而非底层表。这一个决定消除了大多数歧义,是准确答案的基石。
守住执行路径
绝不允许生成查询拥有写权限或不受限制。生产护栏:
- 只读角色。 执行身份只能 SELECT,别无他权。
- 行数上限与超时。 对返回行数与查询时长设硬上限,扼杀失控查询。
- 限定 schema。 把生成限制在已审语义实体,而非整库目录。
- 参数化而非拼接。 值以绑定参数传入,避免注入。
正是这些护栏,让 CFO 敢批准系统。没有它们,一条坏查询就能锁表或泄露列。
上线前先建评测基座
无法度量就无法改进。评测基座是一组固定问题,附已知正确的 SQL 与预期结果,在每次模型或提示变更时运行。它能在回归出现的瞬间抓住。第一周就铺设基座的团队,在迭代时保持准确率平稳;跳过的团队则看着质量悄悄衰退。
| 阶段 | 评测内容 | 信号 |
|---|---|---|
| 上线前 | 相对黄金 SQL 的查询正确性 | 执行匹配率 |
| 软上线 | 对真实用户的答案有用性 | 点赞 / 出处被打开 |
| 稳态 | schema 变更后的漂移 | 评测套件回归 |
真正咬人的失败模式
- schema 漂移。 被改名的列静默破坏生成。用带版本的语义层与会响亮失败的评测来缓解。
- 术语含混。 财务说“营收”,指净还是毛?治理定义一次,处处引用。
- 过度连接。 模型在表之间臆造关系。把连接约束在语义层声明的关联内。
- 静默截断。 被封顶的结果看似完整实则不然。把上限告知用户。
一套参考架构
稳健的 Text-to-SQL 管线有五个阶段:意图理解、语义翻译(模型对着语义层写 SQL)、护栏校验(解析、lint、范围检查)、有界执行、以及事后解释(展示 SQL 与来源)。每个阶段都可独立测试,这正是系统能在规模下运维的原因。
运营模型维持诚实
光有技术无法让答案持续准确。你需要一个语义层负责人、一套评测运行节奏、一个变更流程,使 schema 编辑先过治理再触达用户。把这套东西当作活系统而非一次性建设的公司,其用户数月后仍在信任答案。
为何这对中型公司重要
中型公司很少有一支数据平台团队可投入。这恰恰是以语义层优先、受控、托管式方案胜出的原因:它把研究项目转成可预测的运营能力。模型是商品;语义层、护栏与评测才是产品。
务实的推广路径
- 第 1–2 周: 为前二十个问题搭建语义层。
- 第 3–4 周: 接上护栏与评测基座;向超级用户软上线。
- 第 2 月: 扩展实体;每周追踪评测回归;治理 schema 变更。
到第三个月,系统已在用带出处、有界、可审计的 SQL 回答真实问题——而那才是企业真正会用的一类。
选择模型与提示策略
多数查询不需要最大的模型。路由式方案最佳:小快模型处理多数直白聚合,只有含混或多步的问题才升级到大模型。提示应包含语义层 schema、几条同类问题的范例,以及“仅用已声明实体与关系”的明确指令。在小样本范例之后,语义层本身就是杠杆最高的改进——它教会模型你的命名与业务逻辑,远快于任何泛化描述。
处理跨表与时间序列问题
最难的查询跨实体连接并随时间推理——过去十二个月按月、同比增幅、群组留存。这需要模型先做计划:选对基础实体、套用已声明连接、显式表达时间粒度。一个有用技巧是让模型先用大白话输出查询计划,再给 SQL,使审阅者能在执行前抓住错连。对时间序列,钉死粒度(日/周/月)与日历(财年 vs 公历),避免看似合理却误导的静默错聚。
成本与延迟优化
生产级 Text-to-SQL 的生死线在单次查询成本。对相同或近乎相同的问题做缓存;多数业务问题每周或每月重复。当存在预计算指标时,把简单聚合完全绕开模型。为每次查询设 token 与行数预算,超限即优雅失败。在真实使用一个月后,这些杠杆通常能在不改变用户所见答案的前提下大幅削减推理开支——这正是能力在规模下可负担的原因。
团队反复踩的反模式
团队以相同方式可靠地失败:把模型指向原始表然后奇怪连接为何错;跳过评测基座数月后才发现衰减;为“某一流程”让模型写库而埋下隐患;把首个 promising 的 Demo 当证明、跳过语义层。每种反模式都能用上述护栏与运营模型规避;跳过的代价由破裂的信任偿付,远贵于省下的工程。
上线后度量成功
每周追踪三个数:相对评测套件黄金 SQL 的执行匹配率;无需人工覆盖即被回答的问题占比;单次回答成本。当匹配率企稳、覆盖下降,采纳上升——而上升的采纳最终压低单次洞察成本。重要的指标不是模型大小,而是用户是否持续回来问下一个问题。
上线前信任清单
在任何用户看到生成查询前,确认:执行角色只读;行数上限与超时已强制;生成限定在已审实体;评测基座通过上线套件;每个答案展示 SQL 与来源。任一缺失,系统就未就绪——它只是穿着生产外衣的 Demo。