学习指南

【性感的深度学习】系列


这个系列是几分钟到十几分钟的短视频,分成基础篇进阶篇两部分,都是有梗有趣视角独特制作精良的干货,大量动画类比生动活泼容易理解。配合《破解深度学习》教材学习更到位哦!

基础篇

如果你是小白刚入门,先从基础篇开始学,可以快速弄懂什么是深度神经网络,反向传播算法的原理,损失函数(包括熵、交叉熵、相对熵等基础概念),训练最常用的梯度下降算法,正则化方法等核心概念,然后了解最基础的三种专用深度神经网络:卷积神经网络CNN、循环神经网络RNN和注意力机制网络Transformer模型。掌握了这些内容,你对什么是深度学习就有了一个大致的理解,好比能走马观花快速访问一座大楼一样。

基础篇脑图
知识点学习理由讲解视频
深度神经网络用大白话让你过目不忘,一下子明白啥是深度神经网络
损失函数深度学习模型的灵魂,告诉你如何设计模型
这是损失函数经常用到的概念
交叉熵分类问题最常见的损失函数
KL散度损失函数定义中特别常用
梯度下降所有神经网络训练的不二秘笈
正则化损失函数设计中特别常见的技巧,减轻过拟合,提升泛化性能
卷积理解CNN必须熟悉的概念
卷积神经网络CNN最最基础的专用深度神经网络
循环神经网络RNN解决序列数据建模最常用的网络
注意力机制最流行的网络组件,学习Transformer必备知识
Transformer模型大模型的基础组件
变分自编码器VAE大模型尤其是图像相关网络的必备基础模型
图神经网络GNN也是一种非常基础的专用神经网络

进阶篇

进阶篇包括了复杂CNN、RNN和Transformer模型。

复杂RNN我们重点讲解了LSTM模型、GRU模型,它俩大量用于时序数据的建模,比如自然语言处理等。复杂Transformer,我们讲解了用于图像处理ViT模型,自然语言处理的BERT模型。概率生成式模型方面,我们讲解了三类特别典型的:生成对抗网络、变分自编码器模型VAE、AI绘画密切相关的扩散模型,以及图神经网络GNN。

大模型方面的内容就比较多了,我们先高屋建瓴给出了一个大模型进阶之路,然后讲解了提示工程、微调技术,接着详细介绍了OpenAl的GPT系列,包括chatGPT、GPT4,以及Sora模型。另外,我们还介绍了对标公司谷歌的Gemini和Anthropic公司的Claude3模型。前沿模型方面我们介绍了非常有前景的AI Agent技术,包括典型的AutoGPT,也就是用大模型当大脑的AI机器人。然后介绍了最新的KAN模型,前向前向传播技术等新方向。

进阶篇脑图
知识点学习理由讲解视频
长短期记忆网络LSTM最典型的RNN变体,解决序列数据建模
门控循环单元GRU最典型的RNN优化版
ViT模型典型的Transformer变体,视觉领域大量应用
BERT模型典型的Transformer大模型
生成对抗网络GAN典型的生成式AI模型
大模型发展综述一目了然了解大模型全家照
ChatGPT这个不用解释了吧,最火的大模型
GPT核心原理深入探究GPT背后的理论精髓
GPT4GPT系列发展历程及原理一网打尽
Diffusion模型AI绘画原理,从文本生成进入图像生成领域
Sora模型从文本图像生成,进入视频生成
大模型微调技术大模型微调技术汇总,深入理解预训练+微调技术的核心原理
大模型提示工程用提示工程深入挖掘大模型的潜力
谷歌Gemini大模型竞品对比,了解原生多模态原理
Anthropic公司Glaude3大模型竞品对比,增强版的GPT,三点独特之处值得学习
Al Agent智能体大模型的未来,讲解什么是AI智能体
AutoGPTAI智能体典型案例,OpenAI出品智能体的初级形态
前向前向传播探讨颠覆经典的反向传播算法
KAN网络探讨颠覆经典的MLP神经元组件
CoT思维链Deepseek推理大模型的基础
Deepseek R1模型SFT的终局,强化学习的胜利
Deepseek5大系列模型核心原理
AlphaEvolove划时代的智能体

【AI论文精读】系列


深度学习

年份名称
(点击阅读原文)
简介引用量讲解视频
经典模型
2012AlexNet这一轮深度学习的发迹制作,经典论文120124
2014VGGNet早期典型的深度卷积网络,从几层跳到了十几层100606
2016ResNet目前引用最高,网络深度到达千层194718
1997LSTM最经典的RNN变体,序列数据建模大师91059
2017Transformer大模型的基础网络132795
2015Batch Normalization训练神经网络秘方,缓解过拟合,数据整理43366
2014Dropout提升网络训练效率及缓解过拟合秘方39910
复杂模型
2019BERT典型的Transformer大模型95366
2020DiffusionAI绘画的基础18419
2021LoRAAI绘画时代提升模型效率秘方,后来成了AI绘画风格迁移的代名词10563
2023Segment Anything大模型做分割的典型代表,用途广广7424
大模型
2023GPT4GPT4最全面的解释14789
2022DiTSORA视频生成的核心模型2438
高维可视化
2008tSNE高维数据可视化最流行算法之一42020
2018UMAP高维数据可视化最流行算法之二9501
前沿模型
2024KAN颠覆式创新,瞄准整个深度学习大厦的根基模块MLP进行替换577
2023MambaTransformer极具革命性的平替,开拓了AI界研究大模型的思路2796
2024Mamba OutMamba系列的第二篇58
2024Mamba2Mamba模型的改进版本536
2024TTT对Transformer有很大改进112
2024xLSTM非常值得关注和学习的重要架构191

强化学习

年份名称
(点击阅读原文)
简介引用量讲解视频
DQN系列
2013DQN首次使用深度网络结合Q-learning学习控制策略12264
2015DDQN有效降低DQN在Atari环境中对动作价值的过估7662
2016Dualing DQN动作值函数拆分成状态值和动作优势3768
策略梯度方法
2015DDPG将确定性策略梯度与深度网络结合13285
2018TD3引入延迟策略更新等机制进一步优化DDPG5211
经典Actor-Critic方法
2016A3C异步并行架构加速训练8879
2018SAC基于最大熵的策略迭代框架8406
PPO系列
2015TRPO引入信赖域约束策略更新6796
2017PPO最广泛应用的强化学习方法之一19265
2023DPO基于偏好数据隐式学习奖励模型4139
2024GRPO根据群体得分估计基线1274
2025DAPO引入解耦裁剪、动态采样等机制215
多智能体
2017MADDPG多智能体环境实现集中式Critic和分散式Actor架构4509
2021MAPPOPPO在多智能体环境同样可以取得良好效果1271