跳转到主内容

快速开始

RAGFlow 是一款基于深度文档理解的开源 RAG（检索增强生成）引擎。结合大语言模型（LLM），它能够基于各种复杂格式的数据提供准确的问答能力，并附带可靠的引用来源。

本快速入门指南介绍了从以下步骤开始的通用流程：

  • 启动本地 RAGFlow 服务器，
  • 创建知识库，
  • 干预文件解析，到
  • 基于您的知识库建立 AI 对话。
重要提示

我们官方支持 x86 CPU 和 Nvidia GPU，本文档提供在 x86 平台上使用 Docker 部署 RAGFlow 的说明。虽然我们也对 ARM64 平台进行了测试，但我们不维护 ARM 架构的 RAGFlow Docker 镜像。

如果您使用的是 ARM 平台，请遵循本指南构建 RAGFlow Docker 镜像。

前提条件

  • CPU ≥ 4 核 (x86)；
  • 内存 ≥ 16 GB；
  • 磁盘 ≥ 50 GB；
  • Docker ≥ 24.0.0 & Docker Compose ≥ v2.26.1。
  • gVisor：仅在您打算使用 RAGFlow 的代码执行器（sandbox）功能时需要。
注意

如果您尚未在本地机器（Windows、Mac 或 Linux）上安装 Docker，请参阅安装 Docker Engine。

启动服务器

本节介绍了在 Linux 上设置 RAGFlow 服务器的说明。如果您使用的是其他操作系统，不必担心，大多数步骤都是相似的。

  1. 确保 vm.max_map_count ≥ 262144。
展开以显示详情

vm.max_map_count。此值设置进程可拥有的内存映射区域的最大数量。默认值为 65530。虽然大多数应用程序需要的映射数量不到一千个，但减少此值可能导致异常行为，并且当进程达到限制时，系统会抛出内存不足错误。

RAGFlow v0.25.0 使用 Elasticsearch 或 Infinity 进行多重召回。正确设置 vm.max_map_count 的值对于 Elasticsearch 组件的正常运行至关重要。

1.1. 检查 vm.max_map_count 的值

$ sysctl vm.max_map_count

1.2. 如果该值不满足条件，请将其重置为至少 262144。

$ sudo sysctl -w vm.max_map_count=262144
警告

此更改在系统重启后会重置。如果您下次启动服务器时忘记更新此值，可能会收到 Can't connect to ES cluster 异常。

1.3. 为确保更改永久生效，请相应地在 /etc/sysctl.conf 中添加或更新 vm.max_map_count 值。

vm.max_map_count=262144

  1. 克隆仓库

    $ git clone https://github.com/infiniflow/ragflow.git
    $ cd ragflow/docker

  2. 切换到当前版本

    $ git checkout -f v0.25.0

  3. 使用预构建的 Docker 镜像启动服务器

    # Use CPU for DeepDoc tasks:
    $ docker compose -f docker-compose.yml up -d
    RAGFlow 镜像标签镜像大小 (GB)稳定版？
    v0.25.0≈2稳定发布版
    nightly≈2不稳定的每日构建版
    注意

    所示镜像大小是指已下载的 Docker 镜像大小，它是压缩过的。当 Docker 运行该镜像时，会将其解压，从而导致磁盘占用显著增加。解压后，Docker 镜像大小约为 7 GB。

  4. 服务器启动并运行后检查状态

    $ docker logs -f docker-ragflow-cpu-1

    以下输出确认系统启动成功

         ____   ___    ______ ______ __
        / __ \ /   |  / ____// ____// /____  _      __
       / /_/ // /| | / / __ / /_   / // __ \| | /| / /
      / _, _// ___ |/ /_/ // __/  / // /_/ /| |/ |/ /
     /_/ |_|/_/  |_|\____//_/    /_/ \____/ |__/|__/

     * Running on all addresses (0.0.0.0)
    重要提示

    如果您跳过此确认步骤直接登录 RAGFlow，浏览器可能会提示 network anomaly（网络异常）错误，因为此时您的 RAGFlow 可能尚未完全初始化。

  5. 在 Web 浏览器中，输入服务器的 IP 地址并登录 RAGFlow。

    警告

    在默认设置下，您只需输入 http://机器的IP（无需端口号），因为使用默认配置时，默认的 HTTP 服务端口 80 可以省略。

配置 LLM

RAGFlow 是一个 RAG 引擎，需要与 LLM 配合使用，才能提供基于事实、无幻觉的问答能力。RAGFlow 支持大多数主流 LLM。有关支持模型的完整列表，请参考支持的模型。

注意

RAGFlow 也支持使用 Ollama、Xinference 或 LocalAI 在本地部署 LLM，但本快速入门指南不涵盖此部分。

添加并配置 LLM：

  1. 点击页面右上角的 Logo > 模型供应商。

  2. 点击所需的 LLM 并相应地更新 API Key。

  3. 点击 系统模型设置 以选择默认模型：

    • 聊天模型，
    • 嵌入模型，
    • 图文模型，
    • 等等。

某些模型（例如图文模型 qwen-vl-max）隶属于特定的 LLM。您可能需要更新 API Key 才能访问这些模型。

创建您的第一个知识库

在 RAGFlow 中，您可以将文件上传到知识库并进行解析。知识库本质上是数据集的集合。RAGFlow 中的问答可以基于特定的知识库或多个知识库。RAGFlow 支持的文件格式包括：文档（PDF、DOC、DOCX、TXT、MD、MDX）、表格（CSV、XLSX、XLS）、图片（JPEG、JPG、PNG、TIF、GIF）和幻灯片（PPT、PPTX）。

创建您的第一个知识库：

  1. 点击页面中上方的 知识库 选项卡 > 创建知识库。

  2. 输入知识库名称，点击 确定 保存更改。

    系统会跳转到知识库的 配置 页面。

    dataset configuration

  3. RAGFlow 提供多种分段模板，以适应不同的文档布局和文件格式。为您的知识库选择嵌入模型和分段方法（模板）。

    重要提示

    一旦选择嵌入模型并用于解析文件，您将无法再更改它。原因很明确：我们必须确保特定知识库中的所有文件都使用相同的嵌入模型进行解析（确保它们在相同的嵌入空间中进行比较）。

    系统跳转到知识库的 详情 页面。

  4. 点击 + 添加文件 > 本地文件，开始上传特定文件到知识库。

  5. 在已上传的文件条目中，点击播放按钮开始文件解析。

    parse file

    注意

干预文件解析

RAGFlow 具备可视化和可解释性，允许您查看分段结果并在必要时进行干预。操作如下：

  1. 点击已完成解析的文件以查看分段结果。

    系统跳转到 分段 页面。

    chunks

  2. 将鼠标悬停在每个快照上，即可快速预览各个分段。

  3. 双击分段文本以添加关键字，或在必要时进行手动修改。

    update chunk

    注意

    您可以为文件分段添加关键字或问题，以提高其在包含这些关键字的查询中的排名。此操作会增加其关键字权重，并能改善其在搜索列表中的位置。

  4. 在检索测试中，在 测试文本 中输入一个简单的问题，以仔细检查您的配置是否有效。

    正如您所看到的，RAGFlow 可以提供基于事实的引用来源。

    retrieval test

建立 AI 对话

RAGFlow 中的对话基于特定的知识库或多个知识库。创建知识库并完成文件解析后，即可开启 AI 对话。

  1. 点击页面中上方的 聊天 选项卡 > 创建聊天，以创建一个聊天助手。

  2. 点击创建的聊天应用，进入其配置页面。

    RAGFlow 提供了在每次对话中灵活选择不同聊天模型的选项，同时允许您在 系统模型设置 中设置默认模型。

  3. 更新配置页面右侧的 聊天设置：

    • 为您的助手命名并指定您的知识库。
    • 空回复:
      • 如果您希望限制 RAGFlow 的回答范围仅限于您的知识库，请在此处填写回复内容。这样，当它检索不到答案时，会统一回复您设置的内容。
      • 如果您希望 RAGFlow 在从您的知识库中检索不到答案时即兴发挥，请留空，但这可能会导致幻觉。

  4. 更新 系统提示词，或保持初始默认状态。

  5. 在 模型 下拉列表中选择聊天模型。

  6. 现在，开始体验吧！

    chat_thermal_solution

注意

RAGFlow 还提供 HTTP 和 Python API，供您将 RAGFlow 的能力集成到您的应用程序中。阅读以下文档了解更多信息：

© . This site is unofficial and not affiliated with InfiniFlow.