0. Recap Pipeline Parallelism split by layers (horizonal split) eliminate the bubbles (idle) interleaving forward/backward Tensor Parallelism split the matrix computation over multiple G

0.Recap Data Parallel via All Reduce Distributed Data Parallel Training gradient bucketing overlay backward and AllReduce communication 1. Model Parallel Training Motivation： 模型规模呈指数增长，单

本次 homework 主要内容是：实现 softmax 与 LayerNorm kernel fusion 形式的 fwd 与 bwd，完成 CUDA kernel 编写；接入 Python 层；接入 Transformer 模型并验证训练加速。 下面对本次 homework 实现时一些注意点进行介绍。 1. Softmax 1.1 forward 课程已经提供了 block_dim

PyTorch Distributed: Experiences on Accelerating Data Parallel Training 代码：PyTorch DDP arXiv 提交日期：28 Jun 2020 （发表于 VLDB 2020） 作者： 摘要： 本文介绍了 PyTorch 分布式数据并行（Distributed Data Parallel, D

LightSeq2: Accelerated Training for Transformer-based Models on GPUs arXiv 提交日期：12 Oct 2021 GitHub：https://github.com/bytedance/lightseq 作者： 摘要 基于 Transformer 的神经网络模型已被广泛应用于许多人工智能领域。训练这

LightSeq: A High Performance Inference Library for Transformers arXiv 提交日期：23 Oct 2020 GitHub：https://github.com/bytedance/lightseq 作者： 摘要 Transformer、BERT 及其变体在自然语言处理领域取得了巨大的成功。由于 Tran

0. Recap Overall idea: partition the data, distribute the forward/backward Parameter Server server to update and distribute parameters, worker to get local grad NCCL Multi-GPU communicatio

0. Recap 之前课程主线： LLM 简介 CUDA 编程基础 深度学习框架（自动求导） Transformer/Pre-trained LLM LLM 前后两个辅助组件：Tokenizer 与 Decoding Transformer 加速：Kernel Fusion & Mix-precision & Memory Management Optimiza

0. Recap Transformer Architecture： 1. Accelerated GPU Computation for Transformer Training Overview: 对应下面将要介绍的 4 个优化手段： Kernel Fusion：计算图级别优化，通过算子融合减少计算图节点。 Reduce synchronization：算子内优化

0. Recap Subword tokenization: Byte-Pair-Encoding iteratively merging most frequent pairs of tokens Information-theoretic vocabulary (VOLT) solving entropy constrained optimal transport pr