Text-to-SQL 是決定對話式 BI 平臺是玩具還是工具的那一項能力。模型是最容易的部分;難點在於讓生成的 SQL 在生產中可信、有界、可審計。
生產究竟意味著甚麼
Demo 針對一張整潔的表回答一個精心準備的問題。生產意味著成千上萬使用者對著每週都在變的幾十張表,問出不可預測的問題。這兩種狀態之間的鴻溝,是大多數 Text-to-SQL 項目消亡之處。生產級意味著:每條生成的查詢都可解釋、每個結果都有界、每個答案都註明出處。
從語意層起步,而非原始表
最常見的錯誤是把模型直接指向原始數據倉儲。原始 schema 滿是晦澀列名、反正規化事實與無文件的連線。相反,應建立語意層:一組具業務含義的策展實體——營收、訂單、活躍客戶——並附明確定義。模型對著語意層寫 SQL,而非底層表。這一個決定消除了大多數歧義,是準確答案的基石。
守住執行路徑
絕不允許生成查詢擁有寫許可權或不受限制。生產護欄:
- 只讀角色。 執行身份只能 SELECT,別無他權。
- 行數上限與超時。 對返回行數與查詢時長設硬上限,扼殺失控查詢。
- 限定 schema。 把生成限制在已審語意實體,而非整庫目錄。
- 引數化而非拼接。 值以繫結引數傳入,避免注入。
正是這些護欄,讓 CFO 敢批准系統。沒有它們,一條壞查詢就能鎖表或洩露列。
投入運作前先建評估基座
無法度量就無法改進。評估基座是一組固定問題,附已知正確的 SQL 與預期結果,在每次模型或提示變更時執行。它能在迴歸出現的瞬間抓住。第一週就鋪設基座的團隊,在迭代時保持準確率平穩;跳過的團隊則看著質素悄悄衰退。
| 階段 | 評估內容 | 訊號 |
|---|---|---|
| 投入運作前 | 相對黃金 SQL 的查詢正確性 | 執行匹配率 |
| 軟投入運作 | 對真實使用者的答案有用性 | 點贊 / 出處被開啟 |
| 穩態 | schema 變更後的漂移 | 評估套件迴歸 |
真正咬人的失敗模式
- schema 漂移。 被改名的列靜默破壞生成。用帶版本的語意層與會響亮失敗的評估來緩解。
- 術語含混。 財務說“營收”,指淨還是毛?管治定義一次,處處引用。
- 過度連線。 模型在表之間臆造關係。把連線約束在語意層宣告的關聯內。
- 靜默截斷。 被封頂的結果看似完整實則不然。把上限告知使用者。
一套參考架構
穩健的 Text-to-SQL 管線有五個階段:意圖理解、語意翻譯(模型對著語意層寫 SQL)、護欄校驗(解析、lint、範圍檢查)、有界執行、以及事後解釋(展示 SQL 與來源)。每個階段都可獨立測試,這正是系統能在規模下運維的原因。
營運模型維持誠實
光有技術無法讓答案持續準確。你需要一個語意層負責人、一套評估執行節奏、一個變更流程,使 schema 編輯先過管治再觸達使用者。把這套東西當作活系統而非一次性建設的公司,其使用者數月後仍在信任答案。
為何這對中型公司重要
中型公司很少有一支數據平臺團隊可投入。這恰恰是以語意層優先、受控、託管式方案勝出的原因:它把研究項目轉成可預測的營運能力。模型是商品;語意層、護欄與評估才是產品。
務實的推廣路徑
- 第 1–2 週: 為前二十個問題搭建語意層。
- 第 3–4 週: 接上護欄與評估基座;向超級使用者軟投入運作。
- 第 2 月: 擴充套件實體;每週追蹤評估迴歸;管治 schema 變更。
到第三個月,系統已在用帶出處、有界、可審計的 SQL 回答真實問題——而那才是企業真正會用的一類。
選擇模型與提示策略
多數查詢不需要最大的模型。路由式方案最佳:小快模型處理多數直白聚合,只有含混或多步的問題才升級到大模型。提示應包含語意層 schema、幾條同類問題的範例,以及“僅用已宣告實體與關係”的明確指令。在小樣本範例之後,語意層本身就是槓桿最高的改進——它教會模型你的命名與業務邏輯,遠快於任何泛化描述。
處理跨表與時間序列問題
最難的查詢跨實體連線並隨時間推理——過去十二個月按月、同比增幅、群組留存。這需要模型先做計劃:選對基礎實體、套用已宣告連線、顯式表達時間粒度。一個有用技巧是讓模型先用大白話輸出查詢計劃,再給 SQL,使審閱者能在執行前抓住錯連。對時間序列,釘死粒度(日/周/月)與日曆(財年 vs 公曆),避免看似合理卻誤導的靜默錯聚。
成本與延遲最佳化
生產級 Text-to-SQL 的生死線在單次查詢成本。對相同或近乎相同的問題做快取;多數業務問題每週或每月重複。當存在預計算指標時,把簡單聚合完全繞開模型。為每次查詢設 token 與行數預算,超限即優雅失敗。在真實使用一個月後,這些槓桿通常能在不改變使用者所見答案的前提下大幅削減推理開支——這正是能力在規模下可負擔的原因。
團隊反覆踩的反模式
團隊以相同方式可靠地失敗:把模型指向原始表然後奇怪連線為何錯;跳過評估基座數月後才發現衰減;為“某一流程”讓模型寫庫而埋下隱患;把首個 promising 的 Demo 當證明、跳過語意層。每種反模式都能用上述護欄與營運模型規避;跳過的代價由破裂的信任償付,遠貴於省下的工程。
投入運作後度量成功
每週追蹤三個數:相對評估套件黃金 SQL 的執行匹配率;無需人工覆蓋即被回答的問題佔比;單次回答成本。當匹配率企穩、覆蓋下降,採納上升——而上升的採納最終壓低單次洞察成本。重要的指標不是模型大小,而是使用者是否持續回來問下一個問題。
投入運作前信任清單
在任何使用者看到生成查詢前,確認:執行角色只讀;行數上限與超時已強制;生成限定在已審實體;評估基座透過投入運作套件;每個答案展示 SQL 與來源。任一缺失,系統就未就緒——它只是穿著生產外衣的 Demo。