本篇是系列第 1 篇,覆盖能力地图、AI 应用基础和场景落地三个部分。
一、总览:能力地图与技术栈
1.1 学习目标
- 实现思路:所有实战都是为了开拓思维,重点看「为什么这么做」。
- 算法:什么时候用什么算法最优。
- 架构:了解架构、灵活运用,什么情况用什么架构。
- 经验与技术储备。
- Agent 相关知识:微调、Agent、RAG。
- 工具意识:插件版本号用 Version Lens 看,构建工具用 tsup。
- 拆解能力:无论面对什么问题,都能分析拆解出各个点,并对每个点分别分析。
公开课来源:妙码免费公开课
1.2 技能框架(重点往工程化、构建、架构精进)
| 分层 | 技术清单 |
|---|---|
| 基础核心 | 数据结构与算法;TS、Python、Java(Node)、SQL(PostgreSQL) |
| 前端 | React18 + zustand/jotai;Vue3 + pinia;Electron(Node)、Tauri(Rust)⭐;shadcn(Tailwind)⭐;pnpm monorepo;Vite / Rspack |
| 后端 | NestJS⭐;React 选 Next.js、Vue 选 Nuxt(SSR 方案,前后端同构场景);PostgreSQL⭐(ORM:Prisma⭐ / TypeORM);RESTful API;JWT 认证 |
| AI 应用开发 | 编排能力(链式 / 图式);LangChain⭐;LangGraph⭐;Mastra;RAGFlow;RAG + 向量数据库⭐;模型部署(Ollama + Qwen3);模型微调 |
| 工程化 & DevOps | Git;pnpm monorepo;CI / CD;Docker⭐、Docker Compose⭐、K8s、K3s、minikube |
1.3 实战项目地图(学习点)
① 微前端
- 在分拆原子应用场景下的落地与实践。
② 协同编辑器(从零到一)
- 文档编辑器:左侧为搜索、全部文档、文档图谱(均为新页面打开)、文档列表(
+新增)、设置/关于、登录;右侧为文档内容区(上方标题 + 分享按钮,下方类飞书编辑区)。- 效果:同一文档内实时看到他人操作(包含光标协同:用户 1 框选区域,用户 2 可见;用户 2 输入文字,用户 1 实时可见),并展示他人头像。
- 代码编辑器:带行号,双向实时同步;鼠标移到对方操作的代码上可显示对方名字。
- 进阶:代码补全、语法高亮、错误提示、自定义规则。
- 画板 / 白板:拖拽已写好的组件入场,协同可见。
- 协同表格:编辑时能看到编辑者头像与其选中的单元格(头像位于该行行首)。
- 数字孪生编辑器:协同 + 拖拽组件入场。
③ 团队基建与平台
- 推动团队基建落地。
- 数字孪生平台整体架构(Vanilla + WebAssembly + Vue3)
- 基于 Cesium 的 Web GIS 架构与实践
- 表示层:物料编辑器、三维编辑器(Three.js)
- 图表层(ECharts):编排引擎(吸附线、标题、二维/三维图表等资源)、拖拽图表、数据可视化
- 协同:用户 1 编辑图表时,用户 2 能实时看到用户 1 的头像停在编辑位置;反之亦然
- 效果:进入后是空白图层(可新建),从组件/资源区拖出内容,调整尺寸与位置放到图层上;注意层级——后拖出的内容层级更高;图表可绑定数据源展示真实数据;三维可用 Yjs 或 Three.js 实现
- 基于 OpenLayers 的地图应用与可视化开发
- 基于 WebGL 的 3D 可视化开发实践
- 基于 Cesium 的 Web GIS 架构与实践
- 低代码平台:编排引擎、流程引擎、编辑器、代码执行器与 JavaScript 沙箱。
- 用户行为分析 SDK 及监控可视化整体实现。
- 可视化渲染引擎设计与实现。
- 基于 RAG、Agent 的前端 AI 应用流程编排平台。
1.4 原课程 → 本文档章节映射
| 原课程 | 主题 | 现位置 |
|---|---|---|
| 第一课 | 字节系 AI 场景落地与工作流编排 | §2、§3 |
| 第二课 | Ollama + DeepSeek AI 开发平台全链路 | §3.4、§3.5、§5.6 |
| 第三课 | 类扣子 / Dify 应用引擎架构 | §6 |
| 第四课 | 飞书智能协同文档全链路 | §7.2 ~ §7.4 |
| 第五课 | SSR 与前后端同构 | §8 |
| 第六课 | Yjs 协同实战 | §7.5 ~ §7.6 |
| 第七课 | 前端 AI 智能体类 Dify(原注「与第十五课重复」,本篇已合并) | §2.3 ~ §2.5、§4.1、§16.6 案例 A |
| 第八课 | 性能与异常监控平台 AI 化 | §9 |
| 第九课 | 类扣子 Agent 平台私有化部署 | §3.5、§5.1 |
| 第十课 | LangChain.js 架构与 openclaw 引擎 | §5 |
| 第十一课 | TypeScript AI Agents 框架 | §13、§5.5 |
| 第十二课 | 工作流编辑器 + Agent 引擎 | §6.2 ~ §6.10 |
| 第十三课 | Next.js AI Agents 最佳实践 | §8.4、§12.4 |
| 第十四 / 二十三课 | Nuxt、react-native(原笔记标注跳过) | 未收录 |
| 第十六课 | pnpm monorepo 工程化 | §10.1 ~ §10.5 |
| 第十七课 | 前端监控 AI 智能化 | §9、§10.7 |
| 第十八课 | UI 组件库 + Rspress | §10.8 |
| 第十九课 | Babel 进阶与飞书公式 parser | §10.10、§10.11 |
| 第二十课 | Vite 工程智能化 | §10.9 |
| 第二十一课 | AI BI 自动化分析引擎 | §2.6、§9.5 |
| 第二十二课 | TS、Zod 速查 | §13 |
| 第二十四课 | Electron + LangGraph | §11.1 |
| 第二十五课 | Tauri + NestJS + LangChain | §11.2 |
| 第二十六课 | NodeJS 全栈 AI 实战 | §10.6、§16.6 案例 A |
| 第二十七课 | openclaw 系统级 Agent | §4.4 ~ §4.6、§5.5 |
| 第二十八课 | Vibe Coding 实践 | §12 |
| (无编号) | 音视频基础与 FFmpeg | §14 |
二、AI 应用基础
2.1 核心概念
- 训练:需要大量数据,且必须是领域数据。
- 模型:用海量数据训练出来的产物。
- Prompt 优化:决定输出质量的关键可变项。
- 输出:最终交付给用户或下游系统的结果。
- 知行合一:概念要能落到工程实现,才算真正掌握。
2.2 模型应用发展的三个阶段
| 阶段 | 含义 | 前端关注点 |
|---|---|---|
| Prompt | 用户输入提示词,模型按要求生成 | 提示词交互设计、参数暴露 |
| RAG | 外挂知识库辅助模型输出,结果更贴合期望 | 知识库管理界面、引用溯源 |
| Agent | 智能体,能编排「内容加工 → 输出」的完整流程 | 过程可视化、人机干预 |
2.3 LLM 基础
大语言模型是基于海量文本训练、拥有数千亿甚至万亿参数的深度神经网络。核心机制:给定上下文,预测下一个最可能的 token,不断预测即可生成连贯文本。
- 核心能力:概率预测。
- 关键特性:
- 涌现能力:规模达到阈值后表现出未被明确训练过的复杂能力。
- 上下文依赖:回答质量完全取决于提供的上下文。
基础模型(Foundation Models)
- 定义:通用领域海量数据预训练,具备广泛知识与多种能力,是所有垂类应用的「毛坯房」。
- 例子:GPT-4、GPT-3.5、Claude 3 Opus、Gemini 系列、Llama 系列。
- 场景:项目初期快速验证,或需要广泛知识、强推理与生成能力的场景。
微调模型(Fine-tuned Models)
- 定义:在基础模型上用特定领域、高质量、小规模数据集做额外训练,使其在特定任务或风格上表现更优。
- 场景:医疗文献、公司内部代码库等。
选型必须关注的三个差异点
- 上下文窗口:能处理的最大长度;过长也可能「大海捞针」。
- 成本:按 token 计费,输入输出价格不同,应避免携带不必要的长对话历史。
- 响应速度:不同模型推理速度差异很大,直接影响体验。
2.4 提示词工程四招
| 技巧 | 作用 |
|---|---|
| 角色扮演(Role-playing) | 开头设定角色再带入问题,提高特定领域回答质量 |
| 思维链(Chain-of-Thought) | 指令「分步思考」,提升数学、逻辑、复杂规划的准确率 |
| 结构化输出(Structured Output) | 强制返回 JSON,免去字符串解析,直接用于数据绑定与状态管理——前端最实用的一招 |
| 指令与数据分离 | 用明确分隔符把指令与待处理数据隔开,减少模型混淆 |
2.5 模型选型与多模态能力对照
| 能力 | 国际模型 | 国内模型 |
|---|---|---|
| 文生文 | GPT 系列、Claude 3.5 Sonnet | Qwen3、DeepSeek-V3、Kimi(长文本 / 逻辑推理强) |
| 文生图 | Flux 2 Pro、Midjourney v6.5 | Qwen-Image 2.0 Pro、可灵 Image 3.0、通义万相 |
| 文生视频 | Sora 2 Pro、Runway Gen4 | Kling 可灵 2.6、通义万相 Wan2.6 |
| 图生图 | Flux 2 Pro、Stable Diffusion 3.5(ControlNet 强) | Qwen-Image 2.0 Pro、可灵 Image |
| 图生视频 | Runway Gen4 | Kling 可灵 2.6(国内首选,主体一致性强)、通义万相 Wan2.6 I2V |
| 文生 PPT | — | 「LLM + PPT 渲染引擎」组合:Kimi(PPT Skill)、通义千问 + DeepPresenter;开源:DeepSeek + Presenton |
| 文生 UI | — | 「LLM 生成前端代码 + 生图模型渲染界面」:GPT-4o / Qwen3 输出 React / HTML + Tailwind,Flux、Qwen-Image 做预览,专用 UI 模型 UIzard |
Agent 常见能力清单:文生文、文生图、文生视频、图生图、图生视频、文生 PPT、文生 UI。
落地前先定三件事
- 是否私有化:本地 Ollama 部署,语音方向用 OpenAI Whisper。
- 智能体类型:工作流型 workflow agent / 通用型(Manus)/ 系统级(openclaw)。
- 模型服务方式:自己部署 or SaaS。
2.6 流式输出(SSE)与打字机效果
SSE(Server-Sent Events):即 EventSource,服务端自有推送能力,允许在一次 HTTP 连接中持续向前端发送 text/event-stream 格式数据,无需客户端反复轮询。
打字机效果的完整链路:
- 客户端请求时将
responseType设为stream。 - 服务端用 SSE 实现流式响应,关键在响应头:
Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive
- 数据通过遍历逐块下发;客户端设置 UTF-8 编码,用
while循环解码并拼接。 - 拼接结果实时追加渲染到页面。
- 接入 AI:把模型返回的增量数据写入服务端响应流,即得到 AI 打字机效果。
典型架构(自然语言 → 图表):LLM + Text2SQL + DSL
1 | sequenceDiagram |
三、AI 场景落地与平台形态
3.1 按团队规模看落地场景
个人开发者
- Prompt 工程。例如:以「前端专家」身份优化提示词,让其他使用者通过这个应用更好地咨询前端问题。
- 需要掌握:怎么设计 Prompt,并根据上下文做对应调整。
- 应用场景:写作助手、代码补全、学习辅助等。
小型团队 / 创业公司
- 客服机器人(RAG)。
- 内容生成工具:产品发布稿、changelog(发布日志)。
- 数据报告与分析:「我想看 XXX 的数据变化趋势」。
大型企业
- 现有业务集成:如飞书云表格接入 AI,用户说「帮我搭一个 CRM 表格」,AI 自动生成并创建,包含客户信息、订单信息、合同信息等字段。
- 需要掌握:用什么技术生成表格。表格生成等级:
- 用现成库
- 初级:table DOM
- 中级:虚拟表格
- 高级:Canvas Table
- 专业:Canvas + Tile 技术
- 高级专家:Skia + WebAssembly
- 需要掌握:用什么技术生成表格。表格生成等级:
- AI 开发平台:
- 网关平台
- 数据开发平台:Hadoop、Hive、达梦
- 大数据离线开发平台
- 实时计算:Flume
- 算法平台:算法包 + 算法流程编排
跨行业应用
- SaaS 公司想办法把业务接入 AI。
- 场景:疾病预测、AI 分析患者数据、智能助教。
3.2 AI 大模型应用开发的三个核心方向
① AI 原生应用:用 AI 把自然语言转成设计图,再把设计图转成代码的完整流程(如 Figma)。
- 智能客服
- 代码生成工具
- AI 驱动 UI 生成
② AI 赋能已有业务(AI SRM、AI CMS、AI HRM、AI OA)
- 自然语言搜索
- 自然语言生成图表
- 总结、润色
③ AI 应用开发平台(应用生成引擎:Coze、Dify、RAGFlow、FlowiseAI)
- Agent 构建平台
- 可视化提示词编排
- 类 Dify 平台
3.3 主流平台盘点
| 平台 | 特点 |
|---|---|
| 字节扣子(Coze) | SaaS 在线化;Notion、飞书云表格存储知识库内容;插件生态健全,但模型选择不如 Dify 多 |
| Dify | 支持向量数据库、结构化/非结构化数据,可接入模型非常多 |
| Flowise | 比 Dify 更低代码,更偏开发者,更灵活 |
| ChatBox | 桌面端通用对话客户端 |
| AnythingLLM | 面向文档问答的一体化 LLM 应用 |
学习捷径:「抄」是最快的学习方式。做生成式 AI 应用可直接对标 Coze;追求纯技术与私有化则对标 Dify。
3.4 AI 应用引擎的六大核心模块
生成式 AI 应用引擎 = 在传统工作流基础上,集成大模型、智能体搭建、插件、工作流、触发器与辅助功能的综合平台。
| 模块 | 职责 |
|---|---|
| 插件(Plugins) | 通过插件化机制把复用的处理逻辑抽象出来,扩展模型能力、对接外部系统。每个插件实现统一接口,可在不同模块中被调用 |
| 工作流(Workflows) | 一系列可执行任务的自动化流程;每个任务封装为一个「节点」,按顺序(或图关系)执行 |
| 触发器(Triggers) | 根据用户输入或系统状态自动触发某些操作;前端可依据用户行为、系统状态触发工作流或插件 |
| 知识库(Knowledge Base) | 存储并管理知识,使引擎能针对不同查询给出准确答案 |
| 记忆(Memory) | 保持与用户的历史交互与上下文,使响应更个性化、更有上下文相关性 |
| 用户输入 / 输出 | 前端收集信息并向引擎发起请求,引擎返回结果 |
Coze 核心业务视角(五件事):人设(Prompt)、技能(插件化思维创建插件)、知识库、工作流、发布机制(发布到不同渠道,或作为插件插入网页)。
重难点五件事:① 流程编排引擎编辑器 ② 流程节点执行沙箱 ③ 日志系统 ④ 错误处理机制 ⑤ 服务化。
3.5 实操:私有化部署一套 AI 应用引擎
前置检查:CPU 至少 2 核、内存 4G 以上,安装 Docker。
方案 A:Coze Studio(开源版)
- 从 https://github.com/coze-dev/coze-studio 拉取源码。
- 按 README 用 Docker Compose 部署。
- 配置模型对接(如火山豆包模型的 API Key 与 Endpoint)。
方案 B:Ollama + Dify(本地模型 + 知识库)
- 安装 Ollama 与 deepseek-r1:latest、Docker。
- 模型:
deepseek-r1:latest残血版,通过 Ollama 部署。 - 知识库:Dify 向量数据库,Docker 部署。
- 下载 GitHub zip,解压后在 docker 目录执行
cp .env.example .env与docker compose up -d - 检查容器是否齐全
- 浏览器访问
localhost;初次安装访问localhost/install,配置邮箱、密码、管理员账户
- 下载 GitHub zip,解压后在 docker 目录执行
- 在 Dify 引入模型:设置 → 模型供应商 → Ollama → 添加模型,配置名称(
deepseek-r1:latest)、URL(http://IP:11434),其余默认。- ⚠️ 容器化场景下 URL 不能写 localhost,必须写宿主机局域网 IP。
- 创建空白应用(对话 / 工作流编排),建知识库,按步骤发布;他人可通过 API(有文档)或网页版访问;智能体发布后相当于进了应用商城。
价值点(面试可直接用):不仅能说清部署流程,还能从平台构建者视角说明一个 Agent 如何通过人设、插件、知识库(RAG)、工作流几大模块协作,从简单问答走到复杂业务流程自动化。