单轮问答相对简单：用户提出问题，人工智能回答。多轮对话更加困难：用户询问引用先前答案的后续内容，并且人工智能必须保持跨轮对话的上下文。这就是有用的 BI 助手与华丽的搜索引擎的区别。
上下文窗口问题
大型语言模型有一个上下文窗口——它们可以一次处理的文本量。在多轮对话中，之前的每个轮次都会消耗此窗口的一部分。 5-10 轮后，模型开始“忘记”之前的上下文。解决方案：在模型外部维护结构化对话状态，并为每个新回合仅注入相关上下文。
参考分辨率
当用户说“现在按月显示”时，人工智能必须将“that”解析为之前查询的主题（例如“按地区划分的收入”）。这需要跟踪对话的实体图：已经讨论了哪些指标、维度和过滤器，以及哪些在当前回合中处于活动状态。
上下文窗口管理策略
有效的上下文管理： (1) 将每个回合的查询、结果和元数据存储在对话状态对象中。 (2) 对于每个新回合，生成一个紧凑的上下文摘要——而不是完整的历史记录。 (3) 包括摘要、当前问题以及引用的任何具体实体。这可以保持上下文窗口的焦点和相关性。
何时重置上下文
并非所有转弯都属于同一分析线程。如果用户从“收入分析”切换到“人数趋势”，人工智能应该检测主题转移并重置分析上下文，同时在用户返回到上一个主题时保持对话历史记录可用。
要点
- 上下文窗口问题
- 参考分辨率
- 上下文窗口管理策略
- 何时重置上下文
结论
并非所有转弯都属于同一分析线程。如果用户从“收入分析”切换到“人数趋势”，人工智能应该检测主题转移并重置分析上下文——同时保持……
在 蜂启咨询，我们帮助企业构建数据基础、语义层和人工智能代理生态系统，将数据转化为决策。我们的 MCP 支持平台可连接 50 多个数据源，在 2 周内完成部署，并直接在您的团队已使用的 IM 工具中提供见解。 预订免费演示 了解我们如何帮助您的组织。