LLM RoadMap

这是一篇关于LLM RoadMap的思维导图，包含学习路线和学习资源推荐，主要内容包括：大模型应用，AI System，实操练习，环境配置，多模态（图片生成），算法模型。

LLM RoadMap

• 环境配置
  • 驱动、cuda安装
  • conda
  • docker
• 算法模型
  • Transformer
    • 论文
      • 李沐讲解——强烈推荐
    • 实现
      • 模型结构
      • 模型训练
      • 推荐build a llm model from scrach
      • 推荐2：https://nlp.seas.harvard.edu/annotated-transformer/
      • 推荐3：https://karpathy.ai/zero-to-hero.html
    • QA
  • 位置编码
    • 旋转位置编码
      • https://kexue.fm/archives/8265
  • Tokenizer
    • BPE
      • https://github.com/karpathy/minbpe
  • BERT
    • 论文
    • https://jalammar.github.io/illustrated-bert/
    • https://jalammar.github.io/a-visual-guide-to-using-bert-for-the-first-time/
  • GPT
    • 论文
    • https://jalammar.github.io/illustrated-gpt2/
    • https://jalammar.github.io/how-gpt3-works-visualizations-animations/
    • https://jalammar.github.io/explaining-transformers/
    • https://karpathy.ai/zero-to-hero.html
    • 实现
      • https://github.com/karpathy/nanoGPT
  • LlamaV3
    • https://github.com/naklecha/llama3-from-scratch
  • 深度学习论文精读
    • https://github.com/mli/paper-reading
  • RL强化学习
    • 理论：西湖大学课程
    • 实操：paddle课程
    • RLHF
    • PPO
    • DPO
    • kimi1.5报告
    • 。。。。。。
• 实操练习
  • 李宏毅作业
    • 李宏毅HW5——翻译，理解Seq2Seq\Transformer
    • HW6——扩散模型
    • HW7——Bert QA
    • 2024-HW5-LLM fintuning
    • 2024-HW6-LLM 对齐
    • HW7 LLM解释
    • HW8 LLM安全
    • HW9 视频内容总结-ASR+LLM Summary
    • HW10 FineTune 扩散模型
• 大模型应用
  • 微调
    • 不修改模型参数
      • Prefix-tuning
        • Prefix-Tuning: Optimizing Continuous Prompts for Generation
      • prompt tuning
        • The Power of Scale for Parameter-Efficient Prompt Tuning
    • 修改模型参数
      • Parameter-efficient transfer learning
      • LoRA
        • Low-Rank Adaptation of Large Language Models
      • Towards a Unified View of Parameter-Efficient Transfer Learning
      • AdaLoRA
        • Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning
      • Compacter
        • Compacter: Efficient low-rank hypercomplex adapter layers
          • 矩阵分解
      • FacT
        • Fact: Factor-tuning for lightweight adaptation on vision transformer.
  • Prompt工程
  • RAG
    • https://jalammar.github.io/illustrated-retrieval-transformer/
  • Agent
    • Qwen-Agent
• AI System
  • 推荐资源
    • https://space.bilibili.com/517221395
    • https://fazzie-key.cool/2023/02/21/MLsys/
  • 推理加速框架&&算法
    • FlashAttention2
    • PagedAttention
    • 线性Attention https://kexue.fm/archives/7546
    • SLang
      • RadixAttention 等技术，通过前缀缓存、跳转约束解码、连续批处理、令牌注意力（分页注意力）、张量并行性等优化模型推理过程。此外，使用 FlashInfer 内核、分块预填充和量化技术（包括 FP8/4/AWQ/GPTQ）来加速模型响应速度和降低计算成本。
    • VLLM
  • 量化
    • GPTQ
    • AWQ
  • 分布式训练
    • GPU系统结构有深入的理解，熟练使用CUDA，能够手工构建高效的GPU算子，熟悉主流的GPU算子优化工具（CUTLASS、Triton等）
    • 理解大模型的结构与计算访存执行细节，对于大模型部署的系统瓶颈有深入的认知与理解
    • 理解大模型Kernel优化、KV-cache/存储管理优化、Serving优化的现有技术及其限制
    • 熟悉机器学习GPU通信优化
    • 熟悉模型压缩优化，有modeling优化经验
    • 具有手工Kernel开发与编译器开发经验
    • 框架
      • DeepSpeed
        • https://www.deepspeed.ai/getting-started/
      • Megatron
• 多模态（图片生成）
  • 理论
    • 白板推导
    • 李宏毅
    • 论文解读
      • VAE
      • GAN系列
      • DDPM系列
  • VAE
  • GAN
    • https://kexue.fm/archives/4439
  • DDPN
    • 参考资料
      • https://medium.com/@gitau_am/a-friendly-introduction-to-denoising-diffusion-probabilistic-models-cc76b8abef25
      • https://diff-usion.github.io/Awesome-Diffusion-Models/#resources
      • https://jalammar.github.io/illustrated-stable-diffusion/
      • https://medium.com/@akp83540/denoising-diffusion-probabilistic-model-ddpm-176fd38b12e8
      • https://kexue.fm/archives/9119
    • 实操
      • https://github.com/mikonvergence/DiffusionFastForward/tree/master
      • https://nn.labml.ai/diffusion/ddpm/index.html
      • 李宏毅作业10