学 AI，来58学课 58xueke.com
利用大模型构建应用过程中无法避免的问题
提升 LLM 应用性能的关键 — 微调
主流大模型微调技术方法全覆盖
掌握大模型微调利器
多角度实战，全面掌握微调核心技能
-
全量微调：实战训练 BERT 模型
-
模型量化：实战 GPTQ 和 AWQ 模型量化（基于 OPT）
-
实战 LORA 微调 Whisper-Large-v2 中文语音识别
-
实战 QLoRA 微调 ChatGLM3-6B
-
实战私有数据微调 ChatGLM3
-
实战 LLaMA2-7B 指令微调
-
分布式训练：实战 DeepSpeed ZeRO-2 和 ZeRO-3 训练
预热篇
第一章：AI 大模型四阶技术总览
- 深度解读 AI 发展四轮浪潮
-
- 技术浪潮：弱人工智能、机器学习、深度学习、大语言模型
- 应用浪潮：高校共识、硅谷创新、中美博弈
- 把握浪潮：AI 大模型助力超级个体和小团队
- AI 大模型四阶技术总览
-
- 提示工程（Prompt Engineering）
- AI 智能体（Agents）
- 大模型微调（Fine-tuning）
- 预训练技术（Pre-training）
第二章：大语言模型技术发展与演进
- 统计语言模型
- 神经网络语言模型
- 基于 Transformer 的大语言模型
-
- 注意力机制
- Transformer 网络架构
- 预训练 Transformer 模型： GPT-1 与 BERT
- 暴力美学 GPT 系列模型
大模型训练理论+实战篇
智谱 AI GLM 篇
