Skip to main content
grasp.study
About
Explore
Pricing
Log in
Try it for free
Back to course
👋
Welcome to a Grasp lesson
Create a free account
to keep studying and create your own study path.
5T参数MoE强化学习训练框架
·
Module 2
分布式训练并行与通信模型
1
基于 α-β 模型估算集合通信时间
用 α-β 通信模型估算 P2P、AllReduce、AllGather、ReduceScatter 和 All-to-All 在候选拓扑上的时间。
2
数据并行：模型副本、梯度同步与全局批量优化器语义
分析数据并行对模型副本、梯度同步、全局批量大小与优化器语义的影响。
3
FSDP/ZeRO 分片阶段：内存节省、参数物化与通信代价分析
分析 FSDP/ZeRO 各分片阶段的内存节省、参数物化过程与集合通信代价。
4
张量并行线性层分片与前反向通信量计算
计算张量并行中典型线性层的分片方式和前反向通信量。
5
流水线并行性能分析：气泡比例、阶段负载与微批次数需求
计算流水线并行的气泡比例、阶段负载与微批次数需求。
6
序列并行与上下文并行：长序列内存优化与通信代价对比
比较序列并行与上下文并行降低长序列内存压力的机制和通信代价。
7
模型并行策略的组合设计
根据模型形状、内存上限和设备规模组合数据、张量、流水线与上下文并行。
Next module isn't ready yet,
Back to course
Previous module
建立超大规模训练系统的量化基础
Next module