banner
banner
banner
NEWS LETTER

AI 应用知识体系(二):RAG、Agent 与开发框架

Scroll down

本篇是系列第 2 篇,聚焦 RAG、Agent 原理和 AI 应用开发框架。

四、RAG 与 Agent 原理

4.1 RAG 全链路(前端视角拆解)

核心价值:给大模型外挂一个「实时、私有的知识大脑」。

阶段一:数据准备与索引(离线 / 后台)

  1. 文档加载(Loading):从各种源加载原始文档。
  2. 文本切片(Splitting / Chunking):长文档切成有意义的小块。常见策略:固定长度切块、按段落/标题切块、递归切片。
  3. 向量化(Embedding):调用 Embedding 模型,把每个文本块转成高维向量——即该文本块在「语义空间」中的坐标。
  4. 入库(Storing):将文本块原文与对应向量一并存入向量数据库。

阶段二:查询与生成(在线 / 实时)

  1. 用户提问:前端接收问题。
  2. 问题向量化:用与索引阶段相同的 Embedding 模型把问题转成向量。
  3. 向量检索(Retrieval):在向量库中搜索语义最相似的文本块向量。
  4. 上下文增强(Augmentation):把 Top-K(如最相关的 3 个)文本块与用户原问题组合成一个信息量更大的 Prompt。
  5. 生成答案(Generation):把增强后的 Prompt 发给 LLM,基于给定材料生成最终答案。
  6. 前端呈现:
    • 流式输出(Streaming):逐字渲染答案。
    • 引用溯源(Citation):RAG 应用的黄金标准。界面必须清晰展示答案的每一部分基于哪个检索到的文档块——既建立信任,也提供深挖入口。

4.2 Agent 与 ReAct 循环

核心思想:自主循环。

Agent 本质公式

$Agent = LLM(大模型) + Planning(规划) + Memory(上下文记忆 / 持久化记忆) + Tool(工具) + User(MCP + Skills)$

ReAct(Reasoning and Acting):目前系统级智能体最主流的推理框架,要求 LLM 在每一步都产出特定结构。

环节 说明
Thought(思想) LLM 自我反思:目标是什么?已知什么?下一步做什么?需要什么工具?该过程对用户不可见,但在后台日志中至关重要
Action(行动) 基于思考决定调用某个工具并给出输入,格式通常结构化,如 { "tool": "weather_api", "tool_input": "北京" }
Observation(观察) 系统真正执行该行动(如调用天气 API),把返回结果(如「北京今天晴,25℃」)作为观察再次输入 LLM
循环 接收观察结果后开始新一轮「思想 → 行动 → 观察」,直到认为目标达成,输出最终答案

核心价值:把 LLM 从「只会生成文本的模型」变成「能基于目标自主决策、调用工具、处理反馈的智能系统」。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
flowchart TD
U[用户输入目标] --> THINK[LLM 思考: 下一步要做什么?]
THINK --> DECIDE{是否需要调用工具?}
DECIDE -->|是| CALL[生成工具调用指令: Tool + Args]
CALL --> EXEC[执行工具调用]
EXEC --> OBS[获取工具返回结果: Observation]
OBS --> INJ[将 Observation 注入上下文]
INJ --> THINK
DECIDE -->|否| RESP[LLM 生成最终答案]
RESP --> OUT[输出结果]

classDef loop fill:#f0f9ff,stroke:#0369a1;
classDef done fill:#f6f6f6,stroke:#444;
class THINK,DECIDE,CALL,EXEC,OBS,INJ loop;
class RESP,OUT done;

4.3 工具(Tool):智能体的手脚

本质:把 LLM 的文本生成能力映射为具体的函数、API、系统指令执行能力。

标准工具定义三要素

  1. 名称(Name):唯一标识。
  2. 描述(Description):说明这个工具做什么、什么时候用——这是 LLM 决策的关键依据。
  3. 参数(Args Schema):输入参数定义,通常用 JSON Schema 描述。

常见工具类型

  • 搜索引擎 API:查询实时信息。
  • 计算器:精确数学运算。
  • 代码解释器:执行 Python,做数据分析或绘图。
  • 企业内部 API:查订单、取用户信息、操作 CRM。
  • RAG 本身也是一个工具:从私有库检索资料。

两个前端强相关点

  • 过程可视化:Agent 执行是动态、多步骤的,优秀前端应实时清晰展示当前状态——对调试、监控、建立信任都至关重要。
  • 交互式干预:允许用户在 Agent 执行过程中介入、修正方向。

4.4 智能体三分类与选型决策

① 工作流型智能体(DAG 有向无环图)

  • 核心本质:流程优先的确定性智能体。
  • 底层逻辑:人定义规则,AI 填充执行。
  • 代表产品:Coze、Dify、Make、n8n。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
flowchart LR
U[用户输入目标] --> P[预定义 DAG 流程]
P --> N1[节点1: LLM 任务拆解]
N1 --> N2[节点2: API / 工具调用]
N2 --> N3[节点3: LLM 内容生成]
N3 --> N4[节点4: 数据格式化 / 校验]
N4 --> OUT[结果输出]
N2 -->|执行异常| ERR[异常处理节点]
ERR --> N2

classDef box fill:#F0F8FF,stroke:#334155,stroke-width:1px;
classDef kb fill:#FFC0CB,stroke:#FF1493;
class U,P,N1,N2,N3,N4,OUT box;
class ERR kb;

② 通用型智能体(完全依赖 LLM Planning)

  • 核心本质:目标优先的全自主智能体。
  • 底层逻辑:人定义目标,AI 定义规则与执行。
  • 代表产品:Manus、openManus、AutoGPT、GPT-4o。
1
2
3
4
5
6
7
8
9
10
11
12
13
flowchart TD
USER[用户输入终极目标] --> DECOMP[LLM 任务拆解与步骤规划]
DECOMP --> TOOLSEL[工具选择与指令生成]
TOOLSEL --> ENV[环境感知与指令执行]
ENV --> VERIFY[执行结果校验与反馈]
VERIFY -->|目标达成| OUTPUT[最终结果输出]
VERIFY -->|目标未达成 / 执行异常| REPLAN[重新规划与步骤调整]
REPLAN --> DECOMP
DECOMP <-->|上下文注入 / 历史存储| MEM[长程记忆模块]
MEM <-->|执行日志存储| VERIFY

classDef men fill:#7FFFD4,stroke:#B0C4DE;
class MEM men;

③ 垂类智能体(深度定制)

  • 三个特征:领域知识深度融合、专用工具极致封装、场景化交互深度适配。
  • 核心本质:场景优先的专用型智能体。
  • 底层逻辑:场景定义规则,领域知识赋能,AI 在边界内精准执行。
  • 代表产品:剪映智能剪辑、Figma AI、GitHub Copilot、阿里云智能客服、墨问 AI。
1
2
3
4
5
6
7
8
9
10
11
12
13
flowchart LR
IN[领域特定输入] --> UI[领域专属交互层]
UI --> PROMPT["领域 Prompt 工程 + 规则引擎"]
PROMPT --> FT[领域微调 LLM / 大模型]
FT --> TOOLS[领域专属工具集]
TOOLS --> OUT[领域精准结果输出]
KB[领域知识库 / 数据集] -->|知识注入| PROMPT
KB -->|微调训练| FT

classDef box fill:#F0FFF0,stroke:#334155,stroke-width:1px;
classDef kb fill:#fff0f6,stroke:#c026d3;
class IN,UI,PROMPT,FT,TOOLS,OUT box;
class KB kb;

选型决策树

1
2
3
4
5
6
7
8
9
10
11
12
13
flowchart TD
Q1[业务需求是否有明确、固定的执行流程?]
Q1 -->|是,流程可标准化、可复用| Q2[是否需要严格的执行可控性、无风险?]
Q1 -->|否,流程不固定、步骤动态变化| Q3[是否需要跨多场景的通用自主能力?]
Q2 -->|是| A1[首选:Coze 类工作流智能体]
Q2 -->|否,需要一定灵活性| Q3
Q3 -->|是,目标明确但执行路径不确定| A2[首选:Manus 类通用智能体]
Q3 -->|否,仅针对单一垂直领域的高频场景| A3[首选:垂类场景智能体]

classDef decision fill:#EEF2FF,stroke:#334155,stroke-width:1px;
classDef result fill:#FEF3C7,stroke:#B45309,stroke-width:1px;
class Q1,Q2,Q3 decision;
class A1,A2,A3 result;

4.5 前端视角的智能体四阶闭环

  1. 感知层:智能体的「眼睛和耳朵」,采集用户输入、系统环境状态、外部数据反馈——对应前端的事件监听、数据订阅、环境状态采集,是前端的传统优势阵地。
  2. 决策层:智能体的「大脑」,基于 LLM 内核,结合感知输入与记忆上下文,完成任务拆解、步骤规划、工具选择、异常处理——前端负责决策逻辑封装、Prompt 编排、边界校验规则。
  3. 行动层:智能体的「手脚」,执行指令:调用 API、操作文件、执行代码、控制系统指令——对应前端工具封装、接口调用、Node 脚本执行、系统 API 适配,是全栈能力的核心体现。
  4. 记忆层:智能体的「知识库」,存储会话上下文、执行历史、用户偏好、领域知识——对应前端状态管理、本地持久化、向量库交互,决定长程任务能力。
1
2
3
4
5
6
7
8
9
flowchart TD
A[感知层 Perception] -->|输入采集与环境同步| B[决策层 Decision]
B -->|生成执行指令| C[行动层 Action]
C -->|目标达成输出| D[用户 / 业务系统]
C -->|执行结果反馈| E[记忆层 Memory]
E -->|上下文注入| B

classDef layer fill:#f8f9fa,stroke:#333,stroke-width:1px;
class A,B,C,D,E layer;

4.6 长链条任务的三个硬难点

  1. 任务拆解策略与边界判定:三种智能体在 Prompt 工程与工具链调用上的本质区别。
  2. 长链条 ReAct 的自修复循环与跨进程通信
    • 用 LangGraph 实现具备「状态机」属性的复杂 Agent 逻辑。
    • 难点:设计健壮的 Commander 系统指令集封装层,把 AI 的模糊意图精准翻译成操作系统可执行的原子指令(CLI / API)。
    • 重点:长链条任务中环境保存 / 变更时,如何通过 Error-Reflexion(错误反射) 实现自动纠错与路径重规划,避免死循环。
  3. 多 Agent 协作协议的复杂业务闭环
    • 类似 openclaw 系统级架构,核心是 Multi-Agent 协同中的通讯协议(SOP)与资源竞争管理。
    • 企业落地:私有化知识库(RAG)与实时工具调用(Function Calling)的深度融合策略,解决大规模并发下的幻觉控制。

五、AI 应用开发框架

5.1 直接调模型会遇到什么(为什么要框架)

模型只具备「分析与推测」能力,Agent Loop 则是不断调用工具拿结果、再从结果学习优化的反复过程。直接开发会撞上七个问题:

  1. 多模型接入需要适配器(Model Provider)——微内核设计思想,用统一标准化协议完成模型接入。
  2. 工具定义与调用机制(tool calling)。
  3. 循环:ReAct 框架。
  4. 模型输出形态:字符串、流式。
  5. 调用远程他人的 tool 需要一套标准化规则,即 MCP。
  6. 大量提示词优化:上下文压缩(compact)、Skills(元数据 + 可执行操作)。
  7. 生态适配。

LangChain.js 对以上都做了封装,所以选它。

小 Demo 技术栈

  • TypeScript(类型完备)+ Node.js 经验:脚本测试 → 服务化(Express、Koa、Next.js、Nuxt.js、NestJS)。
  • 本地模型部署:Ollama、MStudio、Whisper。
  • AI 引擎:LangChain.js、LangGraph.js、DeepAgent.js、Mastra、RAGFlow……
  • 方法论:问题分析 → 方案设计(MVP,抓住主要矛盾)。

5.2 LangChain 标准化接口:如何避免供应商锁定

LangChain 通过 BaseLLM / ChatModel 等核心抽象定义标准化模型接口,抹平了 Ollama(@langchain/ollama)、OpenAI、云厂商模型在调用协议、参数格式、返回结构上的差异。

  • 现在用本地 Ollama,将来切云端大模型,只需替换模型实例化逻辑(OllamaChatModel → ChatOpenAI),无需改动提示工程、工具调用(d3-dsv 解析、pg 交互)、Agent 编排等核心业务代码。
  • 标准化接口还统一了错误处理、上下文管理、流式输出等通用逻辑。
  • 结果:降低切换成本,并支持多供应商混合调用(核心场景用云端、低成本场景用本地),规避单一供应商的定价、稳定性、合规风险。

5.3 LangChain 与 LangGraph 的选型

选型锚定业务复杂度与流程特性:

场景 选择 理由
轻量:线性流程、单轮简单多轮交互(基于 pg 数据的问答、d3-dsv 解析结果返回) LangChain 核心套件 AgentExecutor、PromptTemplate 等开箱即用,开发效率高,适配中小规模、无复杂状态管理的业务
复杂:非线性流程、多角色协作、状态持久化 / 容错重试(「拆分 → 入库 → 推理 → 纠错」闭环) LangGraph 基于 LangChain 核心扩展,主打「有状态的推理图」,支持节点拆分、条件分支、循环执行,能精准描述状态流转,且可嵌套复用 LangChain 的工具与提示组件

5.4 可解耦、可演进的 Agent 分层架构

按 接口层 → 原子能力层 → 编排层 → 业务层 分层,每层职责单一、依赖倒置:

  1. 接口层:封装统一的模型调用(基于 @langchain/core 抽象)与工具调用接口,屏蔽底层差异(pg 数据库、d3-dsv 解析均封装为标准 Tool)。
  2. 原子能力层:拆分提示模板、文本拆分、数据解析、数据库交互等原子能力,用 Zod 做参数校验,确保可复用、可独立迭代。
  3. 编排层:轻量场景用 LangChain AgentExecutor,复杂场景用 LangGraph 构建状态图;只负责流程编排,不耦合具体业务逻辑。
  4. 业务层:对接 Express 接口、业务规则等具体场景,通过配置化关联编排层与核心能力;新增业务只扩展这一层,无需改动底层。

5.5 LangGraph 专家级内核(对标自研的六要素)

LangGraph 作为工业级 Agent 框架,核心竞争力在于一套完整的「图执行 + 状态管理」体系:

  1. 状态机驱动:基于有限状态机(FSM)与有向无环图(DAG),保障执行的确定性与可追溯性。
  2. 图执行引擎:支持节点的顺序、分支、并发、嵌套组合。
  3. 异步安全与竞态避免:确保多异步任务执行时状态一致,无脏数据覆盖。
  4. 状态持久化与 Checkpoint:执行快照、断点续跑、跨实例恢复,适配长周期任务。
  5. 子图与嵌套图:复杂流程拆为子图,提升复用性与可读性。
  6. 执行监控与调试:完整执行轨迹、日志与状态回溯,降低排障成本。

前置知识:图论的基本概念——节点与边、有向图。

参考 openclaw 的五层分层架构

openclaw 分层 落地实现(LangChain.js + Express) 核心职责
集成层 封装 Ollama 模型、流式传输协议 屏蔽底层模型调用差异,统一流式输出/输入规范,对接 LangChain 核心抽象
知识层 极简内存知识载体 + 文本拆分(最小化) 提供基础文本处理能力,预留 PG 扩展接口,暂用内存实现
工具层 标准化 DSV 解析工具(d3-dsv) 原子化工具封装,统一输入输出校验(Zod),适配 Agent 工具调用规范
Agent 编排层 核心 Agent Loop(工具调用 + 流式循环) 实现「思考 → 调工具 → 生成响应」闭环,处理流式回调与状态管理
UI 层 Express SSE 接口 暴露流式交互端点,模拟 UI 层输入/输出入口

这一骨架的三条核心逻辑

  • 流式输出:基于 SSE,对接 LangChain 模型的 stream 方法。
  • Agent Loop:基于 AgentExecutor 封装,实现「用户输入 → 模型决策 → 工具调用 → 流式响应」的最小闭环。
  • 最小可运行:只保留核心依赖,屏蔽非必要扩展(PG 暂不接入,仅预留接口)。

5.6 AI 应用的整体架构

1
2
3
4
5
6
7
8
9
10
11
12
13
14
flowchart TD
subgraph 用户端
A[前端应用 Next.js / Vue]
end
subgraph AI与数据基础设施
B[BFF/API 层 Express.js / NestJS]
C[AI 核心编排层 LangChain.js]
D[模型服务 Ollama Server 运行 Qwen3]
E[数据访问层 PostgreSQL / pgvector]
end
A -- HTTP / WebSocket --> B
B --> C
C -- 调用模型 --> D
C -- 读写数据 / 向量 --> E

五步落地法

  1. 本地模型部署:Ollama + Qwen3。
  2. LangChain 三件套:LangChain、LangSmith、LangGraph。
  3. Node.js 把命令脚本化:提示词(Chat Mode)、RAG(向量存储:PGVector、Milvus)、Agent(工具)。
  4. 将 AI 应用服务化。
  5. 观测与治理:CI/CD、Docker、监控告警、安全、日志。

依赖清单参考

  • 生产:langchain、@langchain/community、@langchain/core、@langchain/ollama、pg
  • 开发:@types/node(对齐当前 Node 版本)、@types/pg、typescript

其他文章
目录导航 置顶
  1. 1. 四、RAG 与 Agent 原理
    1. 1.1. 4.1 RAG 全链路(前端视角拆解)
    2. 1.2. 4.2 Agent 与 ReAct 循环
    3. 1.3. 4.3 工具(Tool):智能体的手脚
    4. 1.4. 4.4 智能体三分类与选型决策
    5. 1.5. 4.5 前端视角的智能体四阶闭环
    6. 1.6. 4.6 长链条任务的三个硬难点
  2. 2. 五、AI 应用开发框架
    1. 2.1. 5.1 直接调模型会遇到什么(为什么要框架)
    2. 2.2. 5.2 LangChain 标准化接口:如何避免供应商锁定
    3. 2.3. 5.3 LangChain 与 LangGraph 的选型
    4. 2.4. 5.4 可解耦、可演进的 Agent 分层架构
    5. 2.5. 5.5 LangGraph 专家级内核(对标自研的六要素)
    6. 2.6. 5.6 AI 应用的整体架构
请输入关键词进行搜索