你能学到什么？
尝试用各种不同姿势去爬取数据
掌握常用爬虫模块 Requests、Beautiful Soup的使用
突破第一道防爬策略之文字验证码破解编写人生第一个爬虫程序
课程大纲介绍
阶段一：python爬虫JavaScript逆向
模块一：Web 框架
-
Django 框架
-
Django MVT 架构
-
Django 路由、Django 视图函数、Django 模板
-
Django ORM
-
AJAX 请求
-
cookie & session
-
缓存
-
中间件
-
-
Flask 框架
-
Flask 配置
-
Flask 路由
-
Flask 的生命周期
-
请求与响应
-
cookie & session
-
视图模板
-
SQLAlchemy 框架
-
蓝图
-
-
FastAPI 框架
-
HTTP 协议
-
路由
-
请求参数
-
路径参数
-
表单数据
-
响应模型
-
模板语法
-
ORM
-
中间件
-
会话技术
-
模块二：数据分析
-
数据分析基础操作
-
数据清洗
-
数据分析进阶操作
-
可视化操作
-
项目实战
模块三：游戏公司运营数据分析（基于 Streamlit 库）
-
环境安装 + 原理介绍
-
页面组件操作
-
页面布局
-
上线部署
-
项目实战
模块四：实战案例之弹幕监听器
-
浏览器/客户端 HTTP 弹幕监听
-
监听弹幕、点赞、关注、送礼
-
进入直播间、直播间统计、粉丝团系列消息
-
直播间数据分析、弹幕互动游戏、语音播报等
模块五：异步定时任务与监控系统（定时爬虫，监控数据等）
-
Celery 异步并发框架
-
邮件发送、短信通知
-
Django 集成 Celery
-
定时爬虫、监控数据
-
Django Admin 任务管理
模块六：实战案例之智能小秘书（ChatGPT + 微信 Web）
-
ChatGPT API
-
微信接口导入
-
私聊及群聊的消息智能回复
-
语音识别
-
图片生成
-
丰富插件（文字冒险、敏感词过滤、聊天记录总结等）
-
知识库
模块七：微信小程序开发（重难点讲解）
-
创建项目
-
前端样式
-
数据采集
-
人脸匹配 & 语音识别
-
优惠活动
-
用户状态与积分
-
供应链系统
-
用户信息与登录
模块八：实战案例之直播平台小助手
-
自动翻页
-
颜值检测
-
人脸识别
-
自动点赞
-
自动关注
-
随机防 Ban
-
自动评论
阶段二：python爬虫APP逆向
模块一：反爬虫技术介绍之 App 逆向
-
设备和 ROOT
-
Android 手机 & 模拟器
-
解 BootLoader 锁
-
FastBoot 刷手机 ROOT
-
TWRP 刷手机 ROOT
-
面具和常见模块
-
-
虚拟环境
-
系统解释器环境
-
virturalenv 多环境
-
解释器配置常见错误
-
-
抓包配置
-
Charles 必备配置
-
HTTPS 证书
-
用户证书和系统证书
-
解锁 system 分区
-
Magisk + MoveCert
-
-
-
反编译工具和配置
-
APK 文件结构
-
JDK 安装和配置
-
配置和使用
-
JEB 配置和使用
-
GDA 使用
-
反编译工具的对比和推荐
-
-
逆向分析流程
-
模拟器配置
-
App 的安装和初始化
-
HTTP 抓包配置
-
Charles 必备技能
-
抓包配置
-
修改和重复请求包
-
请求现象分享
-
-
APK 反编译和关键点寻找
-
算法的逆向和还原
-
-
实战案例
模块二：Java 必备语法
-
Java 环境搭建
-
JDK 和 JRE
-
语法基础
-
文件/类名/代码结构
-
变量和常量
-
输入和输出
-
条件语句
-
循环语句
-
注释和其他
-
-
数据类型
-
整数相关
-
byte
-
short
-
int
-
long
-
-
字符和字符串
-
数组
-
Object 基类
-
List 相关
-
ArrayList
-
LinkedList
-
-
Set 相关
-
HashSet
-
TreeSet
-
-
Map 相关
-
HashMap
-
TreeMap
-
-
类型转化
-
逆向常见案例
-
-
面向对象相关
-
类和对象
-
静态成员
-
类的继承
-
接口和抽象类
-
成员修饰符
-
泛型
-
-
包相关
-
包的定义
-
导入和修饰符
-
成员权限
-
内置和第三方包
-
-
常见加密方式及工具（Java 和 Python）
-
字节和字节数组（有无符号）
-
UUID 随机值
-
十六进制字符串
-
MD5/SHA1/SHA256 加密
-
RSA 非对称加密
-
AES/DES 加密
-
GZIP 压缩
-
Base64 编码
-
国密
-
CyberChef 工具
-
模块三：Android 开发核心
-
Android 环境搭建
-
Android Studio
-
Android SDK 安装和配置
-
-
Android开发（正向）
-
UI 开发和设计
-
标签处理和事件绑定
-
交互字段
-
后台服务
-
okhttp3 网络请求
-
常见请求
-
拦截器处理
-
逆向常见应用和套路
-
-
Retrofit 网络库
-
包的引入
-
接口的声明
-
请求调用
-
-
SharedPreferences 持久化
-
JSON 序列化和反序列化
-
-
Android 无障碍开发（正向）
-
开启无无障碍服务
-
引导无障碍页面
-
页面元素的寻找
-
抖音抢福袋业务处理
-
-
API 开发
-
Flask 框架搭建和使用
-
路由和视图的编写
-
API 请求接收和响应
-
AndroidHttp 配置和数据交互
-
-
C 语言基础
-
整型和字节
-
字符串字符串
-
数组
-
指针
-
指针类型
-
多级指针
-
指针的计算
-
-
结构体
-
预处理和头文件
-
常见内置包和函数
-
-
AndroidJNI 开发（正向）
-
NDK 工具包
-
项目配置
-
JNI 和 JVM 对象
-
native方法的定义
-
静态注册和动态注册
-
Java 类型、Native 类型、JNI 签名
-
C 语言和 Java 的调用和转换
-
FindClass
-
GetStaticMethodID
-
GetStringUTFChars
-
NewObject
-
NewStringUTF
-
其他
-
-
ptrace 处理
-
导出函数、导入函数、符号表
-
-
实战案例
模块四：Frida 框架
-
ADB
-
服务管理
-
必备指令
-
上传下载
-
安装卸载
-
手机处理器
-
远程系统
-
USB 和网络连接
-
多设备处理
-
其他指令
-
-
案例：自动刷抖音
-
-
安装和配置
-
frida-server（Android 端）
-
frida（PC 端）
-
端口转发
-
-
脚本语言分类
-
Python 版
-
JavaScript 版
-
-
Hook 模式
-
attach
-
spawn
-
-
Hook 脚本
-
Java 层
-
包和路径定义
-
方法以及重载处理
-
类嵌套机制
-
接口的定义和寻找
-
类型转化 Java/JavaScript/Python
-
常见算法通杀 Hook
-
常见网络层通杀 Hook
-
-
so 层
-
底层加载 so 文件
-
导入、导出、符号表
-
枚举成员
-
函数名称和内存地址的计算
-
基地址的寻找
-
底层寻找 RegisterNatives
-
参数的输出和返回值的替换
-
ReadCString/DexDump/ptr 等
-
-
-
frida-rpc 和数据通信
-
RPC 类型处理和转化
-
Python/JavaScript/Java 类型处理
-
可 JSON 类型和字节数组处理
-
基于 Frida API 处理 Java 对象
-
结合 Flask 构建集群方案
-
-
相互数据通信
-
RPC 传参和转化
-
send 和 recv 数据传输
-
-
模块五：案例驱动实践
-
案例 1：
-
反编译寻找关键字
-
Hook 核心算法位置
-
逆向和还原 IMEI、设备 ID、Sign 加密
-
-
案例 2：
-
防代理抓包
-
so 层 frida 监测和反调试
-
Java 层 Map、StringBuilder、Base64 通用 Hook
-
拦截器加密逆向
-
-
案例3：
-
NO_PROXY 抓包
-
反调试
-
核心算法 sign、token 加密算法逆向
-
native 函数 Hook 和分析
-
JNI 动态注册寻找和逆向
-
-
案例 4：
-
请求密文加密逆向
-
五大请求体参数逆向
-
函数编程和面向对象编程对比
-
libart.so 寻找动态注册函数
-
so 层基于地址进行Hook
-
指纹信息的收集和发送
-
滑动验证 + 点选验证
-
-
案例 5：
-
设备注册逆向
-
Hook 闪退的解决方案
-
Hook 处理对象、Map、字节数据
-
so 层调用 Java 进行加密算法 Hook 和实现
-
data 密文算法
-
搜索功能的实现和扩展
-
-
案例 6：
-
ROOT 监测和绕过
-
sign 签名逆向
-
核心算法实现
-
逆向 so
-
frida-rpc
-
Android App 调用 so
-
unidbg 实现
-
-
其他两款 App 对比
-
-
案例 7：
-
frida 监测和特征隐藏
-
脱壳
-
核心算法逆向
-
-
案例 8：
-
代理抓包监测
-
算法逆向和还原
-
ptrace 占坑和绕过
-
Hook 绕过
-
定制 ASOP 绕过
-
-
-
案例 9：
-
常见的脱壳的流程
-
一些小程序和 App 平台的防绕过限制
-
滑块识别和绕过
-
一些小程序 code 生成
-
自动登录和抢购商品预约
-
-
案例 10：
-
ep 算法还原
-
sign/sv/st 处理
-
unidgb 和补环境
-
-
案例 11：
-
Java 层 Hook 和逆向
-
so 层 Hook 和还原
-
App 端 WebView 和 JavaScript 逆向
-
-
案例 12：
-
设备注册
-
请求头算法逆向
-
自定义协议抓包
-
-
其他案例
模块六：专题课
-
抓包专题
-
系统代理和监测的绕过
-
客户端证书校验
-
底层原理
-
多个绕过方案
-
Xposed 模块
-
-
服务端证书校验
-
底层验证原理
-
BKS 证书
-
P12 证书
-
证书的自动导出
-
requests 模块请求携带证书
-
-
双向证书校验
-
代码混淆 Hook
-
Hook 固定 so 层的函数
-
Hook 固定 Java 层方法
-
调用栈寻找混淆代码
-
-
HTTP、TCP、HTTPS 底层分析、r0capture 使用
-
-
AOSP 系统定制
-
Ubuntu 系统安装和配置
-
环境依赖的安装
-
代码同步
-
驱动的安装和处理
-
集成 HTTPS 证书
-
修改源码并隐藏 ROOT 特征
-
修改源码解决 ptrace 占坑
-
修改源码解决 frida 监测和调试
-
FART 定制脱壳机
-
-
ROOT 监测
-
Java 层关键字监测和绕过
-
so 层关键字监测和绕过
-
定制 AOSP 源码绕过
-
-
frida 监测和反调试
-
frida 特征监测
-
strongR-frida
-
ptrace 占坑
-
libc.so 系统函数 Hook
-
pthread 寻找和替换
-
-
脱壳
-
脱壳工具使用
-
frida 脱壳
-
Android 底层必备脱壳点 + Fart 脱壳机
-
so 层加固、内存脱壳、修复
-
VMP 加固原理和脱壳
-
模块七：打包和交付
-
exe 可执行文件打包
-
代码规范和脚本开发
-
pyinstaller 打包处理
-
常见日志和依赖包问题
-
隐藏执行终端
-
单文件打包和多文件打包
-
图标定制
-
自定义名称
-
-
基于 PyQt5 实现 GUI 开发
-
PyQt5 环境
-
窗体加载和按钮事件
-
常见布局方案
-
日志、表格、弹窗、文本框等常见组件
-
案例：电商价格监测平台
-
-
Web 平台开发
-
Flask 框架介绍和安装
-
常见应用
-
API 服务
-
Web 平台
-
-
耗时和非耗时请求架构设计
-
消息队列号
-
数据库连接池
-
限制访问次数和会员机制
-
UI 框架
-
模板语法、静态源码、cookie、蓝图等组件
-
-
项目部署
-
云服务器
-
SSH 远程登录
-
Git 和代码同步
-
MySQL 服务和配置
-
线上虚拟环境管理
-
uWSGI 安装和配置
-
Nginx 服务
-
Shell 脚本定制
-
HTTP 和 HTTPS 部署差异
-
阶段三：python开发实战
模块一：Web 框架
-
Django 框架
-
Django MVT 架构
-
Django 路由、Django 视图函数、Django 模板
-
Django ORM
-
AJAX 请求
-
cookie & session
-
缓存
-
中间件
-
-
Flask 框架
-
Flask 配置
-
Flask 路由
-
Flask 的生命周期
-
请求与响应
-
cookie & session
-
视图模板
-
SQLAlchemy 框架
-
蓝图
-
-
FastAPI 框架
-
HTTP 协议
-
路由
-
请求参数
-
路径参数
-
表单数据
-
响应模型
-
模板语法
-
ORM
-
中间件
-
会话技术
-
模块二：数据分析
-
数据分析基础操作
-
数据清洗
-
数据分析进阶操作
-
可视化操作
-
项目实战
模块三：游戏公司运营数据分析（基于 Streamlit 库）
-
环境安装 + 原理介绍
-
页面组件操作
-
页面布局
-
上线部署
-
项目实战
模块四：实战案例之弹幕监听器
-
浏览器/客户端 HTTP 弹幕监听
-
监听弹幕、点赞、关注、送礼
-
进入直播间、直播间统计、粉丝团系列消息
-
直播间数据分析、弹幕互动游戏、语音播报等
模块五：异步定时任务与监控系统（定时爬虫，监控数据等）
-
Celery 异步并发框架
-
邮件发送、短信通知
-
Django 集成 Celery
-
定时爬虫、监控数据
-
Django Admin 任务管理
模块六：实战案例之智能小秘书（ChatGPT + 微信 Web）
-
ChatGPT API
-
微信接口导入
-
私聊及群聊的消息智能回复
-
语音识别
-
图片生成
-
丰富插件（文字冒险、敏感词过滤、聊天记录总结等）
-
知识库
模块七：微信小程序开发（重难点讲解）
-
创建项目
-
前端样式
-
数据采集
-
人脸匹配 & 语音识别
-
优惠活动
-
用户状态与积分
-
供应链系统
-
用户信息与登录
模块八：实战案例之直播平台小助手
-
自动翻页
-
颜值检测
-
人脸识别
-
自动点赞
-
自动关注
-
随机防 Ban
-
自动评论
