知乎知学堂AI 大模型全栈工程师培养计划第4期 AGI课堂 | 超清无密MP4 | 同步更新

因为 AI 领域日新周异，本大纲随时调整，不要见怪😁
请订阅共享日历获得上课时间，包含未来新开期次的课表。如果安装腾讯日历 App，还可以用 CalDAV 方式把课程表同步到你的日历里。

01
大模型应用开发基础

1. ChatGPT 等大模型 AI 能干什么？
2. 大模型是怎样获得「智能」的？
3. 大模型应用业务架构
1. Copilot
2. Agent
4. 用好 AI 的核心心法
5. 大模型应用技术架构
1. 纯 Prompt
2. Agent + Function Calling
3. Embeddings + 向量数据库
4. Fine-tuning
6. OpenAI API 和提示工程初探
准备好课程所需环境和工具

孙志岗

02
Prompt Engineering

1. 提示工程是什么
2. Prompt 典型构成
3. 指令调优方法论
4. 思维链和思维树
5. Prompt 攻击和防范
6. 内容审核
案例 1: 通过 Prompt 实现一个完整的客服对话机器人
案例 2: 通过思维链实现客服对话质检
案例 3: 通过思维树实现指标解读+项目推荐
运用提示工程完成写作任务

孙志岗

03
Function Calling

1. 看 AI 巨变带来的 UI、API 终极演变
2. NLI 塑造未来软件世界
3. 大模型连接真实世界的方法
1. 从 Plugins 到 Actions
2. 原理
3. Plugins 开发方法
4. Plugins 的失败和 GPTs 的未来
4. 从 Function Calling 到 Tools 到 Assistant API
1. 机制原理
2. Function Calling 初探
3. 插播：Reproducible outputs
4. 多 Function 轮流调用和同时调用
5. 用 Function Calling 构造 JSON
6. 从自然语言生成 SQL 语句
5. 用好 Function Calling 的稳定性，防范不稳定
6. Function Calling 带来的想象空间
7. Function Calling 更多技巧
8. 试试 Assistant API
运用对话查询自己公司的接口或数据库

孙志岗

04
从 AI 编程认知 AI

1. 用 AI 编程和当技术总监的异同
2. 补全式编程：GitHub Copilot
1. Copilot 的商业奇迹
2. 使用技巧
3. Copilot 原理
3. 对话式编程
1. 启动多个 GPT-4
2. GItHub Copilot chat
3. Agent 们
1. GPT Engineer
2. GPT Web App Generator
3. MetaGPT
4. AI 编程的适用场景
5. 更多工具
1. CodeGeeX
2. Bito
3. Amazon CodeWhisperer
4. Cursor
5. Tabine
6. 更多开源编程大模型
1. Code Llama
2. 姜子牙 Ziya-Coding-15B-v1
3. CodeFuse-CodeLlama-34B
4. WizardCoder
7. AI 提效定律和能力定律
开始使用 AI 编程，把 Aha! 时刻分享到群内

王卓然
05
RAG 和 Embeddings

1. 为什么要做RAG
2. 搭建一个简单的ChatPDF
3. 检索的基础概念
4. 什么是向量表示（Embeddings）
5. 向量数据库与向量检索
6. 基于向量检索的RAG
7. 搭建RAG系统的扩展知识
8. 向量模型本地部署

王卓然
06
Assistants API
1. OpenAI 给了我们更大空间
2. 原生 API、GPTs、Assistants API、国产/开源大模型选型参考
3. Assistants API 的主要能力
4. 做一个自己的 GPT
1. 创建 assistant
2. 管理 thread
3. 添加 message
4. 开始 run
5. 中控调度
6. Function Calling
7. Code Interpreter
8. RAG

王卓然
07
Semantic Kernel

1. Semantic Kernel 强势来袭
1. 和 LangChain 的对比
2. 最新进展
3. 写个 Hello World
2. Plugins
1. SemanticFunctions
2. Semantic Kernel Tools
3. Native Functions
4. SKContext
5. 内置 Plugins
3. Memory 和向量检索
4. Pipline
5. Planner
做个没有前端界面的 ChatPDF
王卓然
08
LangChain

1. 模型 I/O 封装
1. LLM vs. ChatModel
2. 模型的输入输出
3. PromptTemplate
4. OutputParser
2. 数据连接封装
1. 文档加载器：Document Loaders
2. 文档处理器
3. 文档向量化：Text Embeddings
4. 向量的存储与索引：Vector stores
5. 向量检索：Retrievers
3. 记忆封装：Memory
1. 对话上下文：ChatMessageHistory
2. 自动历史摘要：ConversationSummaryMemory
4. 链架构：Chain
1. Sequential
2. Transform
3. Router
4. 基于 Document 的 Chains
5. 大模型时代的软件架构：Agent
1. Action Agent
2. Function Calling
3. Plan-and-Execute Agent
6. Callbacks
7. LangChain.js
1. 和 Python 版 LangChain 的对比
2. 防坑指南
3. 案例：chatall.ts

王卓然
09
LLM 应用开发工具链

1. 其它值得关注的框架
1. LlamaIndex
2. MetaGPT
2. LangSmith
1. 调试 LangChain 应用
2. 测试与评估
3. Hub
3. LangFlow
4. Semantic Kernel Tools
5. Prompt flow
6. 选择最适合的工具链
7. 参与开源软件正当时
1. 为什么要参与开源软件
2. 如何抓住机遇，投入进去
为自己选一个主攻方向：LangChain、LangChain.js 或 Semantic Kernel
王卓然

10
手撕 AutoGPT

1. 弥补LangChain的不足，实现Prompt与代码分离
2. 设计ReAct的Prompt模板
3. 设计长时和短时Memory
4. 实现AutoGPT的主流程
5. 设计鲁棒的纠偏策略，防止死循环
6. 封装自己的Tools
7. 运行自己的AutoGPT助手！
待定

王卓然
11
客座嘉宾
待定
/
待定
12
模型微调（上）

1. 什么是模型训练/预训练/微调/轻量微调
2. HuggingFace简介
1. 模型加载
2. 数据加载
3. 训练器
4. 几行代码微调一个Transformer模型
3. Transformer结构简介
4. 大模型微调常用的超参介绍
待定

王卓然
13
模型微调（下）

1. 轻量化微调
1. Prompt Tuning
2. P-Tuning
3. Prefix Tuning
4. LoRA
5. QLoRA
6. AdaLoRA
2. 实战 1：基于 Prefix-Tuning 微调 ChatGLM2-6B
3. 实战 2：基于 LoRA 微调 ChatGLM2-6B
4. 实战 3：基于 QLoRA 微调 Llama2-7B
5. 训练数据的构建技巧
待定
王卓然

14
Fine-tuning 集中答疑
答疑
/
王卓然
15
客座嘉宾
敬请期待
待定
待定
16
AI 产品部署和交付
1. 硬件选型
1. GPU
2. 云服务厂商
3. 算力平台
2. 大模型的私有化部署
3. 案例：如何优雅地在阿里云私有部署开源大模型
4. 内容安全
5. 互联网信息服务算法
待定
王树冬
17
大模型时代的产品机遇

1. 做独立开发者吗？
1. 独立开发的前所未有机会
2. 自己是否适合独立开发？
1. 超高的自律要求
2. 注册公司
3. 日常事务
4. 兼职管理
5. 其它困难
3. 公司里的「独立开发者」
2. 产品研发新流程
3. 产品立项
1. 如何找到真实需求
2. 如何找到商业模式
3. 关注种子推广渠道
4. Prompt 调试前置
找到一个 AI 产品创意，用 AI 撰写方案

王卓然
18
产品设计
1. 功能、信息架构和交互设计
2. 撰写 PRD 是为了什么
3. 如何结合编程能力画原型图
1. draw.io 的基本用法
2. Figma 的基本用法
3. Motiff 的基本用法
4. 极简设计原则
1. 对齐
2. 亲密
3. 4 种颜色
4. 4 的倍数
5. Collaborative UX
6. 用 Gradio 快速搭原型
1. 高仿 ChatGPT
2. 高级界面定制
把你的 AI 产品创意画出原型
孙志岗
19
产品运营和业务沟通
1. 产品运营
1. 获客途径
2. 转化要诀
3. 留存有道
2. 产品迭代
1. 小而美的原则
2. KANO 模型
3. 业务沟通
1. 程序员怎么练沟通
2. 沟通的内核
3. 沟通的姿势
4. 沟通的技巧
5. 日常功夫
请你最不喜欢的同事吃次饭
孙志岗
20
项目方案分析与设计
学员拿出自己的项目，老师直播来分析项目方案
/
王卓然
21
AI 绘画

1. Midjourney
1. 帐号注册
2. 创建服务器
3. 10 种常用命令
4. 13 种常用参数
5. 8 类描述词
2. Stable Diffusion
1. 界面认识
2. 文生图
4. 图生图
朋友圈秀图大赛
小枫老师
22
项目路演及结课项目启动会
提交你的项目 BP，讲师团点评，优秀的奖获得个性化服务孵化机会

/
孙志岗 & 王卓然
*
视野拓展

备选选题：
– 多模态大模型
– 多智能体
– GPU 运维技术
– AI 对话产品的苦与乐
– ……
/
敬请期待

结课综合项目
1. 结课项目的目的是综合运用本课程所学的知识，完成一个完整的项目。
2. 需要从项目概要需求出发，独立完成需求分析、产品设计、架构设计、编程实现、测试和部署等工作。
3. 项目的编程语言、基础模型、向量数据库、开发框架等不限。
4. 可以根据个人情况，基于原始项目需求，做适当的简化或发挥。
5. 有难度高、中、低三个级别的项目，请任选其一。
1. 项目一：酒店智能客服系统（难度：高）
2. 项目二：AI 学习助手（难度：中）
3. 项目三：会提问的陪聊机器人（难度：低）