Skip to main content
grasp.study
About
Explore
Pricing
Log in
Try it for free
Back to course
👋
Welcome to a Grasp lesson
Create a free account
to keep studying and create your own study path.
5T参数MoE强化学习训练框架
·
Module 1
建立超大规模训练系统的量化基础
1
Decoder-Only Transformer块的张量形状与关键参数追踪
追踪 decoder-only Transformer 块中注意力、MLP、残差连接与归一化的张量形状和主要参数。
2
Transformer 单次训练迭代流程解析
分解 Transformer 单次训练迭代中的前向、反向、优化器更新与通信阶段。
3
按精度计算模型状态的理论内存占用
按权重、梯度、主权重和优化器状态的精度计算模型状态理论内存占用。
4
MoE 参数量、激活参数量与实际计算量的区分
区分 MoE 的总参数量、单 token 激活参数量与实际计算量。
5
参数化估算训练阶段的 FLOPs、访存量与算术强度
用参数化公式估算各训练阶段的 FLOPs、访存量和算术强度。
6
系统性能指标：吞吐、时延、扩展效率、MFU、HFU 与通信占比
解释吞吐、时延、扩展效率、MFU、HFU 与通信占比等系统指标。
7
将模型规格与异步非共卡 Rollout 策略转化为可测量系统约束
把 5T 总参数、384 专家、Top-16、128k 上下文、目标精度及异步非共卡 rollout 策略转化为可测量的系统约束。
Previous module
Next module
分布式训练并行与通信模型