banner
banner
banner
NEWS LETTER

AI 应用知识体系(一):能力地图、应用基础与场景落地

Scroll down

本篇是系列第 1 篇,覆盖能力地图、AI 应用基础和场景落地三个部分。

一、总览:能力地图与技术栈

1.1 学习目标

  1. 实现思路:所有实战都是为了开拓思维,重点看「为什么这么做」。
  2. 算法:什么时候用什么算法最优。
  3. 架构:了解架构、灵活运用,什么情况用什么架构。
  4. 经验与技术储备。
  5. Agent 相关知识:微调、Agent、RAG。
  6. 工具意识:插件版本号用 Version Lens 看,构建工具用 tsup。
  7. 拆解能力:无论面对什么问题,都能分析拆解出各个点,并对每个点分别分析。

公开课来源:妙码免费公开课

1.2 技能框架(重点往工程化、构建、架构精进)

分层 技术清单
基础核心 数据结构与算法;TS、Python、Java(Node)、SQL(PostgreSQL)
前端 React18 + zustand/jotai;Vue3 + pinia;Electron(Node)、Tauri(Rust)⭐;shadcn(Tailwind)⭐;pnpm monorepo;Vite / Rspack
后端 NestJS⭐;React 选 Next.js、Vue 选 Nuxt(SSR 方案,前后端同构场景);PostgreSQL⭐(ORM:Prisma⭐ / TypeORM);RESTful API;JWT 认证
AI 应用开发 编排能力(链式 / 图式);LangChain⭐;LangGraph⭐;Mastra;RAGFlow;RAG + 向量数据库⭐;模型部署(Ollama + Qwen3);模型微调
工程化 & DevOps Git;pnpm monorepo;CI / CD;Docker⭐、Docker Compose⭐、K8s、K3s、minikube

1.3 实战项目地图(学习点)

① 微前端

  • 在分拆原子应用场景下的落地与实践。

② 协同编辑器(从零到一)

  • 文档编辑器:左侧为搜索、全部文档、文档图谱(均为新页面打开)、文档列表(+ 新增)、设置/关于、登录;右侧为文档内容区(上方标题 + 分享按钮,下方类飞书编辑区)。
    • 效果:同一文档内实时看到他人操作(包含光标协同:用户 1 框选区域,用户 2 可见;用户 2 输入文字,用户 1 实时可见),并展示他人头像。
  • 代码编辑器:带行号,双向实时同步;鼠标移到对方操作的代码上可显示对方名字。
    • 进阶:代码补全、语法高亮、错误提示、自定义规则。
  • 画板 / 白板:拖拽已写好的组件入场,协同可见。
  • 协同表格:编辑时能看到编辑者头像与其选中的单元格(头像位于该行行首)。
  • 数字孪生编辑器:协同 + 拖拽组件入场。

③ 团队基建与平台

  • 推动团队基建落地。
  • 数字孪生平台整体架构(Vanilla + WebAssembly + Vue3)
    • 基于 Cesium 的 Web GIS 架构与实践
      • 表示层:物料编辑器、三维编辑器(Three.js)
      • 图表层(ECharts):编排引擎(吸附线、标题、二维/三维图表等资源)、拖拽图表、数据可视化
      • 协同:用户 1 编辑图表时,用户 2 能实时看到用户 1 的头像停在编辑位置;反之亦然
      • 效果:进入后是空白图层(可新建),从组件/资源区拖出内容,调整尺寸与位置放到图层上;注意层级——后拖出的内容层级更高;图表可绑定数据源展示真实数据;三维可用 Yjs 或 Three.js 实现
    • 基于 OpenLayers 的地图应用与可视化开发
    • 基于 WebGL 的 3D 可视化开发实践
  • 低代码平台:编排引擎、流程引擎、编辑器、代码执行器与 JavaScript 沙箱。
  • 用户行为分析 SDK 及监控可视化整体实现。
  • 可视化渲染引擎设计与实现。
  • 基于 RAG、Agent 的前端 AI 应用流程编排平台。

1.4 原课程 → 本文档章节映射

原课程 主题 现位置
第一课 字节系 AI 场景落地与工作流编排 §2、§3
第二课 Ollama + DeepSeek AI 开发平台全链路 §3.4、§3.5、§5.6
第三课 类扣子 / Dify 应用引擎架构 §6
第四课 飞书智能协同文档全链路 §7.2 ~ §7.4
第五课 SSR 与前后端同构 §8
第六课 Yjs 协同实战 §7.5 ~ §7.6
第七课 前端 AI 智能体类 Dify(原注「与第十五课重复」,本篇已合并) §2.3 ~ §2.5、§4.1、§16.6 案例 A
第八课 性能与异常监控平台 AI 化 §9
第九课 类扣子 Agent 平台私有化部署 §3.5、§5.1
第十课 LangChain.js 架构与 openclaw 引擎 §5
第十一课 TypeScript AI Agents 框架 §13、§5.5
第十二课 工作流编辑器 + Agent 引擎 §6.2 ~ §6.10
第十三课 Next.js AI Agents 最佳实践 §8.4、§12.4
第十四 / 二十三课 Nuxt、react-native(原笔记标注跳过) 未收录
第十六课 pnpm monorepo 工程化 §10.1 ~ §10.5
第十七课 前端监控 AI 智能化 §9、§10.7
第十八课 UI 组件库 + Rspress §10.8
第十九课 Babel 进阶与飞书公式 parser §10.10、§10.11
第二十课 Vite 工程智能化 §10.9
第二十一课 AI BI 自动化分析引擎 §2.6、§9.5
第二十二课 TS、Zod 速查 §13
第二十四课 Electron + LangGraph §11.1
第二十五课 Tauri + NestJS + LangChain §11.2
第二十六课 NodeJS 全栈 AI 实战 §10.6、§16.6 案例 A
第二十七课 openclaw 系统级 Agent §4.4 ~ §4.6、§5.5
第二十八课 Vibe Coding 实践 §12
(无编号) 音视频基础与 FFmpeg §14

二、AI 应用基础

2.1 核心概念

  • 训练:需要大量数据,且必须是领域数据。
  • 模型:用海量数据训练出来的产物。
  • Prompt 优化:决定输出质量的关键可变项。
  • 输出:最终交付给用户或下游系统的结果。
  • 知行合一:概念要能落到工程实现,才算真正掌握。

2.2 模型应用发展的三个阶段

阶段 含义 前端关注点
Prompt 用户输入提示词,模型按要求生成 提示词交互设计、参数暴露
RAG 外挂知识库辅助模型输出,结果更贴合期望 知识库管理界面、引用溯源
Agent 智能体,能编排「内容加工 → 输出」的完整流程 过程可视化、人机干预

2.3 LLM 基础

大语言模型是基于海量文本训练、拥有数千亿甚至万亿参数的深度神经网络。核心机制:给定上下文,预测下一个最可能的 token,不断预测即可生成连贯文本。

  • 核心能力:概率预测。
  • 关键特性:
    • 涌现能力:规模达到阈值后表现出未被明确训练过的复杂能力。
    • 上下文依赖:回答质量完全取决于提供的上下文。

基础模型(Foundation Models)

  • 定义:通用领域海量数据预训练,具备广泛知识与多种能力,是所有垂类应用的「毛坯房」。
  • 例子:GPT-4、GPT-3.5、Claude 3 Opus、Gemini 系列、Llama 系列。
  • 场景:项目初期快速验证,或需要广泛知识、强推理与生成能力的场景。

微调模型(Fine-tuned Models)

  • 定义:在基础模型上用特定领域、高质量、小规模数据集做额外训练,使其在特定任务或风格上表现更优。
  • 场景:医疗文献、公司内部代码库等。

选型必须关注的三个差异点

  • 上下文窗口:能处理的最大长度;过长也可能「大海捞针」。
  • 成本:按 token 计费,输入输出价格不同,应避免携带不必要的长对话历史。
  • 响应速度:不同模型推理速度差异很大,直接影响体验。

2.4 提示词工程四招

技巧 作用
角色扮演(Role-playing) 开头设定角色再带入问题,提高特定领域回答质量
思维链(Chain-of-Thought) 指令「分步思考」,提升数学、逻辑、复杂规划的准确率
结构化输出(Structured Output) 强制返回 JSON,免去字符串解析,直接用于数据绑定与状态管理——前端最实用的一招
指令与数据分离 用明确分隔符把指令与待处理数据隔开,减少模型混淆

2.5 模型选型与多模态能力对照

能力 国际模型 国内模型
文生文 GPT 系列、Claude 3.5 Sonnet Qwen3、DeepSeek-V3、Kimi(长文本 / 逻辑推理强)
文生图 Flux 2 Pro、Midjourney v6.5 Qwen-Image 2.0 Pro、可灵 Image 3.0、通义万相
文生视频 Sora 2 Pro、Runway Gen4 Kling 可灵 2.6、通义万相 Wan2.6
图生图 Flux 2 Pro、Stable Diffusion 3.5(ControlNet 强) Qwen-Image 2.0 Pro、可灵 Image
图生视频 Runway Gen4 Kling 可灵 2.6(国内首选,主体一致性强)、通义万相 Wan2.6 I2V
文生 PPT — 「LLM + PPT 渲染引擎」组合:Kimi(PPT Skill)、通义千问 + DeepPresenter;开源:DeepSeek + Presenton
文生 UI — 「LLM 生成前端代码 + 生图模型渲染界面」:GPT-4o / Qwen3 输出 React / HTML + Tailwind,Flux、Qwen-Image 做预览,专用 UI 模型 UIzard

Agent 常见能力清单:文生文、文生图、文生视频、图生图、图生视频、文生 PPT、文生 UI。

落地前先定三件事

  1. 是否私有化:本地 Ollama 部署,语音方向用 OpenAI Whisper。
  2. 智能体类型:工作流型 workflow agent / 通用型(Manus)/ 系统级(openclaw)。
  3. 模型服务方式:自己部署 or SaaS。

2.6 流式输出(SSE)与打字机效果

SSE(Server-Sent Events):即 EventSource,服务端自有推送能力,允许在一次 HTTP 连接中持续向前端发送 text/event-stream 格式数据,无需客户端反复轮询。

打字机效果的完整链路:

  1. 客户端请求时将 responseType 设为 stream。
  2. 服务端用 SSE 实现流式响应,关键在响应头:
    • Content-Type: text/event-stream
    • Cache-Control: no-cache
    • Connection: keep-alive
  3. 数据通过遍历逐块下发;客户端设置 UTF-8 编码,用 while 循环解码并拼接。
  4. 拼接结果实时追加渲染到页面。
  5. 接入 AI:把模型返回的增量数据写入服务端响应流,即得到 AI 打字机效果。

典型架构(自然语言 → 图表):LLM + Text2SQL + DSL

1
2
3
4
5
6
7
8
9
10
11
12
13
14
sequenceDiagram
actor User as 用户
participant Front as 浏览器 (前端)
participant Nuxt as Nuxt 服务器 (后端)
participant Ollama as Ollama (LLM)

User->>Front: 1. 输入自然语言查询
Front->>Nuxt: 2. 发起 POST 请求 (/api/generatev2)
Nuxt-->>Front: 3. 建立 SSE 连接(流式响应)
Nuxt->>Ollama: 4. 调用 LLM(携带格式化后的 Prompt)
Ollama-->>Nuxt: 5. 返回 ECharts Option(JSON 配置)
Nuxt-->>Front: 6. 通过 SSE 推送图表数据
Front->>Front: 7. Pinia 更新状态,Vue 响应式渲染
Front-->>User: 8. 显示可视化图表

三、AI 场景落地与平台形态

3.1 按团队规模看落地场景

个人开发者

  • Prompt 工程。例如:以「前端专家」身份优化提示词,让其他使用者通过这个应用更好地咨询前端问题。
  • 需要掌握:怎么设计 Prompt,并根据上下文做对应调整。
  • 应用场景:写作助手、代码补全、学习辅助等。

小型团队 / 创业公司

  • 客服机器人(RAG)。
  • 内容生成工具:产品发布稿、changelog(发布日志)。
  • 数据报告与分析:「我想看 XXX 的数据变化趋势」。

大型企业

  • 现有业务集成:如飞书云表格接入 AI,用户说「帮我搭一个 CRM 表格」,AI 自动生成并创建,包含客户信息、订单信息、合同信息等字段。
    • 需要掌握:用什么技术生成表格。表格生成等级:
      1. 用现成库
      2. 初级:table DOM
      3. 中级:虚拟表格
      4. 高级:Canvas Table
      5. 专业:Canvas + Tile 技术
      6. 高级专家:Skia + WebAssembly
  • AI 开发平台:
    1. 网关平台
    2. 数据开发平台:Hadoop、Hive、达梦
    3. 大数据离线开发平台
    4. 实时计算:Flume
    5. 算法平台:算法包 + 算法流程编排

跨行业应用

  • SaaS 公司想办法把业务接入 AI。
  • 场景:疾病预测、AI 分析患者数据、智能助教。

3.2 AI 大模型应用开发的三个核心方向

① AI 原生应用:用 AI 把自然语言转成设计图,再把设计图转成代码的完整流程(如 Figma)。

  • 智能客服
  • 代码生成工具
  • AI 驱动 UI 生成

② AI 赋能已有业务(AI SRM、AI CMS、AI HRM、AI OA)

  • 自然语言搜索
  • 自然语言生成图表
  • 总结、润色

③ AI 应用开发平台(应用生成引擎:Coze、Dify、RAGFlow、FlowiseAI)

  • Agent 构建平台
  • 可视化提示词编排
  • 类 Dify 平台

3.3 主流平台盘点

平台 特点
字节扣子(Coze) SaaS 在线化;Notion、飞书云表格存储知识库内容;插件生态健全,但模型选择不如 Dify 多
Dify 支持向量数据库、结构化/非结构化数据,可接入模型非常多
Flowise 比 Dify 更低代码,更偏开发者,更灵活
ChatBox 桌面端通用对话客户端
AnythingLLM 面向文档问答的一体化 LLM 应用

学习捷径:「抄」是最快的学习方式。做生成式 AI 应用可直接对标 Coze;追求纯技术与私有化则对标 Dify。

3.4 AI 应用引擎的六大核心模块

生成式 AI 应用引擎 = 在传统工作流基础上,集成大模型、智能体搭建、插件、工作流、触发器与辅助功能的综合平台。

模块 职责
插件(Plugins) 通过插件化机制把复用的处理逻辑抽象出来,扩展模型能力、对接外部系统。每个插件实现统一接口,可在不同模块中被调用
工作流(Workflows) 一系列可执行任务的自动化流程;每个任务封装为一个「节点」,按顺序(或图关系)执行
触发器(Triggers) 根据用户输入或系统状态自动触发某些操作;前端可依据用户行为、系统状态触发工作流或插件
知识库(Knowledge Base) 存储并管理知识,使引擎能针对不同查询给出准确答案
记忆(Memory) 保持与用户的历史交互与上下文,使响应更个性化、更有上下文相关性
用户输入 / 输出 前端收集信息并向引擎发起请求,引擎返回结果

Coze 核心业务视角(五件事):人设(Prompt)、技能(插件化思维创建插件)、知识库、工作流、发布机制(发布到不同渠道,或作为插件插入网页)。

重难点五件事:① 流程编排引擎编辑器 ② 流程节点执行沙箱 ③ 日志系统 ④ 错误处理机制 ⑤ 服务化。

3.5 实操:私有化部署一套 AI 应用引擎

前置检查:CPU 至少 2 核、内存 4G 以上,安装 Docker。

方案 A:Coze Studio(开源版)

  1. 从 https://github.com/coze-dev/coze-studio 拉取源码。
  2. 按 README 用 Docker Compose 部署。
  3. 配置模型对接(如火山豆包模型的 API Key 与 Endpoint)。

方案 B:Ollama + Dify(本地模型 + 知识库)

  1. 安装 Ollama 与 deepseek-r1:latest、Docker。
  2. 模型:deepseek-r1:latest 残血版,通过 Ollama 部署。
  3. 知识库:Dify 向量数据库,Docker 部署。
    • 下载 GitHub zip,解压后在 docker 目录执行 cp .env.example .env 与 docker compose up -d
    • 检查容器是否齐全
    • 浏览器访问 localhost;初次安装访问 localhost/install,配置邮箱、密码、管理员账户
  4. 在 Dify 引入模型:设置 → 模型供应商 → Ollama → 添加模型,配置名称(deepseek-r1:latest)、URL(http://IP:11434),其余默认。
    • ⚠️ 容器化场景下 URL 不能写 localhost,必须写宿主机局域网 IP。
  5. 创建空白应用(对话 / 工作流编排),建知识库,按步骤发布;他人可通过 API(有文档)或网页版访问;智能体发布后相当于进了应用商城。

价值点(面试可直接用):不仅能说清部署流程,还能从平台构建者视角说明一个 Agent 如何通过人设、插件、知识库(RAG)、工作流几大模块协作,从简单问答走到复杂业务流程自动化。


其他文章
目录导航 置顶
  1. 1. 一、总览:能力地图与技术栈
    1. 1.1. 1.1 学习目标
    2. 1.2. 1.2 技能框架(重点往工程化、构建、架构精进)
    3. 1.3. 1.3 实战项目地图(学习点)
    4. 1.4. 1.4 原课程 → 本文档章节映射
  2. 2. 二、AI 应用基础
    1. 2.1. 2.1 核心概念
    2. 2.2. 2.2 模型应用发展的三个阶段
    3. 2.3. 2.3 LLM 基础
    4. 2.4. 2.4 提示词工程四招
    5. 2.5. 2.5 模型选型与多模态能力对照
    6. 2.6. 2.6 流式输出(SSE)与打字机效果
  3. 3. 三、AI 场景落地与平台形态
    1. 3.1. 3.1 按团队规模看落地场景
    2. 3.2. 3.2 AI 大模型应用开发的三个核心方向
    3. 3.3. 3.3 主流平台盘点
    4. 3.4. 3.4 AI 应用引擎的六大核心模块
    5. 3.5. 3.5 实操:私有化部署一套 AI 应用引擎
请输入关键词进行搜索