加速问答
一份加速问答的检查清单。
请注意,您的一些设置可能会消耗大量时间。如果您经常发现问答过程很耗时,这里有一份检查清单供您参考:
- 在您的**对话配置**对话框的**提示词引擎**选项卡中,禁用**多轮优化**将减少从大语言模型(LLM)获取答案所需的时间。
- 在您的**对话配置**对话框的**提示词引擎**选项卡中,将**Rerank 模型**字段留空将显著减少检索时间。
- 使用 Rerank 模型时,请确保您有 GPU 进行加速;否则,Rerank 过程会*极其*缓慢。
注意
请注意,Rerank 模型在某些场景下是必不可少的。速度和性能之间总需要权衡;您必须根据具体情况权衡利弊。
- 在您的**对话配置**对话框的**助手设置**选项卡中,禁用**关键词分析**将减少从大语言模型(LLM)接收答案的时间。
- 与聊天助手对话时,点击*当前*对话上方的灯泡图标,并向下滚动弹出窗口,即可查看每个任务所花费的时间:
项目名称 | 描述 |
---|---|
总计 | 本轮对话所花费的总时间,包括知识块检索和答案生成。 |
检查 LLM | 验证指定的大语言模型(LLM)所需的时间。 |
创建检索器 | 创建知识块检索器所需的时间。 |
绑定 Embedding | 初始化 Embedding 模型实例所需的时间。 |
绑定 LLM | 初始化大语言模型(LLM)实例所需的时间。 |
优化问题 | 利用多轮对话上下文优化用户查询所需的时间。 |
绑定 Reranker | 为知识块检索初始化 Reranker 模型实例所需的时间。 |
生成关键词 | 从用户查询中提取关键词所需的时间。 |
检索 | 检索知识块所需的时间。 |
生成答案 | 生成答案所需的时间。 |