最新公告
  • 自助下单 自动发货 58学课 欢迎您【客服QQ:260837161】
  • 七月在线大模型项目开发线上营 [实战审稿GPT/RAG/AI Agent等六大商用落地项目]

    • 在线网盘 点击查看详情 购买后内容一样

    你能学到什么?

    ①论文审稿/RAG知识库问答/模特生成均是我司项目团队迭代好几个月的商用落地项目

    ②提供完整数据集和代码

    ③线上直播录播答疑结合(注,每天答疑,是每天)

    ④多对一的面试辅导群(对应到个人/学号)

    ⑤送为期整整一年的VIP年卡(含200多个AI小课、4个大模型小课)

    ⑥提供整整一年的GPU云平台(封装了诸如ChatGLM3等各大主流大模型)

    章节目录

    第一阶段 从零实现一个带RLHF的类ChatGPT

    • 第1课 开营仪式与ChatGPT的三阶段训练方式

      • 知识点1: PPO算法的关键实现逻辑及其两种实现方式
      • 知识点2: GPT3到GPT3.5背后的发展逻辑
      • 知识点3: ChatGPT的三阶段训练方式:SFT RM PPO
    • 第1课之补充:通透理解Transformer——从自注意力到多头注意力

    • 第2课 从零实现带RLHF的类ChatGPT(上):SFT与RM的实现

      • 知识点1: 基本概念与数据集管理
      • 知识点2: DSC之phase-1: Supervised Finetuning
      • 知识点3: DSC之phase-2: Reward Model Finetuning
    • 第3课 从零实现带RLHF的类ChatGPT(下):RLHF的完整实现

      • 知识点1: DSC之phase-3: RLHF Finetuning之整体概览
      • 知识点2: 对经验数据的获取及reward_score和values的区别
      • 知识点3: PPO训练数据管理-MiniDataset:utils/data/data_utils.py
      • 实战项目: AC架构下的PPO训练:在加了β惩罚且截断后的RM之下,通过经验数据不断迭代策略且估计value
      • 实战项目: 作业:如何把DCS的每个阶段run起来(最后群内提供如何run DSC的教程)

    第二阶段 从头开始微调出来一个医疗问答大模型

    • 第4课 Meta LLaMA的结构与原理:参数少但多数任务的效果好于GPT3

    • 第4课之补充:半小时总结LLaMA 2的技术架构精要

    • 第5课 Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B

      • 知识点1: 什么是self-instruct方式:提示GPT3/GPT3.5/GPT4的API收集数据
      • 知识点2: 微调LLM的一般都会用到Huggingface实现的Transformers库的Trainer类
      • 实战项目: Alpaca-LoRA:通过PEFT库在消费级GPU上微调「基于LLaMA的Alpaca」
      • 知识点4: Alpaca所用的self-instruct的影响力:解决一大批模型的数据扩展问题
    • 第5课之补充:Alpaca-LoRA微调过程「使用已清洗的alpaca数据基于LoRA微调LLaMA-7B」

      • 知识点1: 已清洗的alpaca数据介绍、环境配置及模型文件下载
      • 实战项目: 微调方法及代码介绍、微调后的推理效果展示
    • 第6课 ChatGLM2-6B(第二代)的结构与微调

    • 第6课之补充1:ChatGLM2-6(第二代)的LoRA/P-Tuning微调

    • 第6课之补充2:ChatGLM3-6(第三代)的结构与LoRA微调

    • 第7课 通透理解FlashAttention:大模型更长上下文的关键之一

    • 第7课之补充:FlashAttention2相比第一代的改进点与其应用

    • 第8课 医疗问答大模型(上):基于LLaMa微调的ChatDoctor

      • 知识点1: ChatDoctor医疗助手相比ChatGPT的优势
      • 实战项目: ChatDoctor微调过程核心代码解读
      • 知识点3: ChatDoctor—自我导向的检索机制
    • 第9课 医疗问答大模型(下):基于中文数据微调的医疗领域大模型

      • 知识点1: 国内医疗领域大模型介绍
      • 知识点2: 哈工大本草模型解读
      • 知识点3: DISC-MedLLM模型解读

    第三阶段 从爬取数据开始从零开发:七月论文审稿GPT(第2版已超过OpenAI的GPT4)

    • 第10课 大模型之高效文本数据处理:规则式与启发式

      • 知识点1: 规则式处理:敏感信息过滤(正则表达式)、特定词过滤(AC自动机词库匹配)
      • 知识点2: 启发式处理:低质文本过滤(困惑度评估)、文本去重(哈希模糊去重)
    • 第11课 论文审稿GPT第一版:如何爬取论文数据、解析论文PDF、处理review数据

      • 实战项目: 如何批量爬取3万多篇paper、10多万条review
      • 实战项目: 如何解析论文PDF:SciPDF
      • 实战项目: 如何针对解析后的paper和review做一系列数据处理:去重、去除无关项等
    • 第12课 论文审稿GPT第一版的模型的选型/训练,与第二版的全方位优化计划

      • 实战项目: 第一版模型的选型与训练:通过10万量级的paper+review语料微调RWKV
      • 实战项目: 针对推理数据的处理与最终推理:给定paper,让训练好的模型输出审稿意见
      • 实战项目: 第二版模型本身、数据解析/处理、review语料等方面的全方位优化
    • 第13课 论文审稿GPT第二版之论文PDF解析和review数据处理:规范Review的格式且多聚一

      • 实战项目: 第二版对论文PDF数据的解析:Meta的nougat VS ScienceBeam
      • 实战项目: 第二版对review数据的处理(与第一版不一样)
      • 实战项目: 设计更好的提示模板让大模型帮梳理出来review语料的4个内容点:ChatGPT VS 开源模型
      • 实战项目: 如何让归纳出来的review结果更全面:多聚一(含最终设计的Prompt)
    • 第14课 相关工作之AcademicGPT:增量训练LLaMA2-70B,包含论文审稿功能

    • 第15课 论文审稿GPT第二版之模型的前置知识:Mistral 7B、YaRN、LongLoRA/LongQLoRA

      • 知识点1: Mistral 7B:通过分组查询注意力 + 滑动窗口注意力超越13B模型
      • 知识点2: YaRN怎么来的:基于“NTK-by-parts”插值修改注意力
      • 知识点3: 何谓LongLoRA:shifted sparse attention(S2-Attn),及何谓LongQLoRA
    • 第16课 论文审稿GPT第二版之模型的选型与训练:LLaMA 2 7B chat longqlora

      • 知识点1: 基于LongQLoRA + 一万多条paper-review数据集微调LLaMA 2 7B chat
      • 实战项目: 如何基于一万多paper-review数据集微调LLaMA 2且超过GPT4(给数据集、给代码、给复现流程)
    • 第17课 论文审稿GPT第二版之模型的评估:如何评估审稿GPT的效果

      • 知识点1: 斯坦福研究者如何评估GPT4审稿意见的效果
      • 实战项目: 对LLaMA 2 7B chat-LongQLoRA效果的评估:如何超过的GPT3.5和GPT4

    第四阶段 实现基于企业多文档的知识库问答系统(RAG检索增强生成)

    • 第18课 langchain的整体组成架构

      • 知识点1: 基础层:models、LLMs、index
      • 知识点2: 能力层:Chains、Memory、Tools
      • 知识点3: 应用层:Agents
    • 第18课之补充:langchain十个应用示例(文档问答/数据库问答/智能体Agents等)

    • 第19课 如何通过LangChain+LLM搭建本地知识库问答

      • 知识点1: 核心步骤:如何通过LangChain+LLM实现本地知识库问答
      • 知识点2: Facebook AI Similarity Search(FAISS):高效向量相似度检索
    • 第19课之补充1:本地知识库问答系统的搭建与部署

      • 实战项目: 部署过程一:支持多种使用模式
      • 实战项目: 部署过程二:支持多种社区上的在线体验
      • 实战项目: 最新版Langchain-ChatChat的搭建与部署
    • 第19课之补充2:七月的GPU登录及使用说明(如还不会用七月GPU则必看)

    • 第20课 如何解决知识库检索出错的问题:embedding算法是关键之一

      • 知识点1: 衡量文本向量表示效果的榜单:MTEB、C-MTEB
      • 知识点2: OpenAI的text-embedding模型:从ada-002到最新的3-small/3-large
      • 知识点3: m3e模型的简介、微调
      • 知识点4: bge模型:采用RetroMAE预训练算法(含24年1月发布的BGE-M3)
    • 第21课 如何更好的分割结构化的文档

      • 知识点1: PDF解析方法汇总:pdfplumber、PyPDF2、fitz(PyMuPDF)
      • 知识点2: 针对结构化文档本身的特点:基于规则针对性分割
    • 第21课之补充视频:针对结构化文档采取更好的chunk分割的代码实现

      • 实战项目: 特定PDF解析方案一:根据书签定位(含完整代码)
      • 实战项目: 特定PDF解析方案二:通过字体大小或字体类型(含完整代码)
    • 第22课 如何解决非结构化文档分割不够准确的问题:比如按照语义切分(含Sora解读)

      • 知识点1: 课前小灶:如何全面理解OpenAI视频生成模型Sora的原理
      • 知识点2: 基于Cross Segment Attention的文本分割
      • 知识点3: 阿里语义分割模型SeqModel(含模型加载与API调用方式的代码)
    • 第23课 逐行深入分析:langchain-ChatGLM项目的关键源码解读(特别是向量搜索/匹配)

      • 知识点1: agent、models、configs、loader
      • 知识点2: textsplitter、knowledge_bas、chains
      • 实战项目: vectorstores之similarity_search_with_score_by_vector:根据输入的向量,查找最接近的k个文本
    • 第24课 如何确保召回结果的全面性与准确性:多路召回、重排及检索评估方式

      • 知识点1: 文本召回与向量召回的区别及优缺点
      • 知识点2: 倒排索引原理与BM25原理解析
      • 知识点3: 检索评估指标—precision/recall/MRR/MAP
      • 实战项目: BM25召回、embedding召回、重排及评估方式的实现
    • 第25课 如何基于文档中的表格进行问答

      • 知识点1: 对表格的识别:通过OCR提取
      • 知识点2: 把Excel文档转化成HTML,再做问答
      • 实战项目: 把PDF转化成XML并解析之后,再做问答
      • 实战项目: PDF解析之文本与表格的分离(含完整ipynb代码)
    • 第26课 企业知识库场景下的RAG整体优化方案

      • 知识点1: 索引构建优化
      • 知识点2: 检索逻辑优化
      • 实战项目: 向量与重排序模型微调

    第五阶段 基于stable diffusion二次开发一个AIGC模特生成系统(也含代码)

    • 第27课 通俗理解Stable Diffusion:文本到图像的潜在扩散模型(改进版DDPM)

      • 知识点1: SD与DDPM的对比
      • 知识点2: 理解Stable Diffusion的三层境界:意图、公式、源码
    • 第28课 Stable Diffusion WebUI安装部署及项目结构解析

      • 实战项目: stable diffusion webui的本地安装
      • 实战项目: stable diffusion模型、LoRA、embedding部署
      • 实战项目: controlnet插件安装及controlnet模型部署
      • 知识点4: Segment Anything SD插件安装
      • 实战项目: Stable Diffusion WebUI项目结构解析
    • 第29课 Stable Diffusion Webui生成AI模特描述研究、参数及流程

      • 实战项目: 生成数字人Promt描述研究
      • 实战项目: Stable Diffusion Webui生成AI模特图生图参数、蒙版模式、ControlNet插件使用研究
      • 实战项目: 人工手动操作Stable Diffusion Webui生成AI模特流程
    • 第30课 AIGC模特生成系统核心代码详解

      • 实战项目: stable diffusion webui二次开发api接口详解
      • 实战项目: AI模特promt及其他API调用参数详解
      • 实战项目: 调用图生图及controlnet接口生成AI模特代码详解

    第六阶段 三大AI Agent项目:自动对人类下达的任务进行拆解分析、工具调用

    • 第31课 阿里通义千问Qwen-7B的原理及ReAct用法

      • 知识点1: Qwen-7B特点简介
      • 知识点2: Qwen-7B-Chat要点详解:不同于一般模型的插件调用功能
      • 知识点3: ReAct Prompting用法详述:结合思维链与插件调用的推理技术
    • 第32课 Qwen-Agent

    • 第33课 OpenAgents

    • 第34课 modelscope-agent

    第七阶段 线上三个月:五大项目的答疑与面试辅导

    • 第35课 精讲大模型典型100大面试题

    • 第36课 如何更好的优化大模型的简历、及面试注意事项(可按需拉多对一的面试辅导组)

    每天成长一点点,要比别人快一步
    58学课 » 七月在线大模型项目开发线上营 [实战审稿GPT/RAG/AI Agent等六大商用落地项目]

    常见问题FAQ

    如何下单?如何下载?
    ->> 点击查看 自助下单,自动发货,下单后,页面会自动刷新,显示百度网盘地址
    如何查看下单后的内容?
    在线网盘 点击查看详情 下单后内容一样
    本站不议价 !
    本站不议价,不支持无理由退换,看清楚再下单
    更多常见问题?
    ->> 点击查看

    1 评论

    发表回复

    Hi, 如果你对这个资源有疑问,可以跟我联系哦!

    联系客服
    • 13203会员总数(位)
    • 5258资源总数(个)
    • 75本周发布(个)
    • 1 今日发布(个)
    • 1509稳定运行(天)

    自助下单 自动发货 58学课 欢迎您

    加入我们