跳转到主内容
版本:开发版

加速问答

一份加速问答的检查清单。


请注意,您的一些设置可能会消耗大量时间。如果您经常发现问答过程很耗时,这里有一份检查清单供您参考:

  • 在您的**对话配置**对话框的**提示词引擎**选项卡中,禁用**多轮优化**将减少从大语言模型(LLM)获取答案所需的时间。
  • 在您的**对话配置**对话框的**提示词引擎**选项卡中,将**Rerank 模型**字段留空将显著减少检索时间。
  • 使用 Rerank 模型时,请确保您有 GPU 进行加速;否则,Rerank 过程会*极其*缓慢。
注意

请注意,Rerank 模型在某些场景下是必不可少的。速度和性能之间总需要权衡;您必须根据具体情况权衡利弊。

  • 在您的**对话配置**对话框的**助手设置**选项卡中,禁用**关键词分析**将减少从大语言模型(LLM)接收答案的时间。
  • 与聊天助手对话时,点击*当前*对话上方的灯泡图标,并向下滚动弹出窗口,即可查看每个任务所花费的时间:
    enlighten
项目名称描述
总计本轮对话所花费的总时间,包括知识块检索和答案生成。
检查 LLM验证指定的大语言模型(LLM)所需的时间。
创建检索器创建知识块检索器所需的时间。
绑定 Embedding初始化 Embedding 模型实例所需的时间。
绑定 LLM初始化大语言模型(LLM)实例所需的时间。
优化问题利用多轮对话上下文优化用户查询所需的时间。
绑定 Reranker为知识块检索初始化 Reranker 模型实例所需的时间。
生成关键词从用户查询中提取关键词所需的时间。
检索检索知识块所需的时间。
生成答案生成答案所需的时间。