@@ -57,18 +57,18 @@ checkpoint-stall bug can be isolated to a single line, not a six-team incident.
5757 ┌───────────────────────────────────┼────────────────────────────────────┐
5858 │ │ │
5959 ▼ ▼ ▼
60- ┌───────────────────────────┐ ┌──────────────────────────────┐ ┌──────────────────────────────┐
61- │ pkg/distributed/ │ │ pkg/elastic/ │ │ pkg/kernels/ │
62- │ parallel_mesh.py │ │ fault_monitor.py │ │ moe_router.py │
63- │ │ │ │ │ │
64- │ • ParallelTopology │ │ • ElasticTrainerHarness │ │ • MoERouter (nn.Module) │
65- │ • init_device_mesh((dp,ep)) │ │ • AsyncCheckpointer │ │ ├─ Triton fused forward / │
66- │ with TP axis reserved │ │ • _PinnedHostStager │ │ │ autograd backward │
67- │ • DistributedMoELayer │ │ • ClusterStateMachine │ │ │ - dynamic-bound mask │
68- │ • apply_fsdp2(...) │ │ • LocalNVMeAdapter │ │ │ - 128B aligned loads │
69- │ • all_to_all_dispatch │ │ • S3Adapter (boto3) │ │ └─ CPU fallback path │
70- │ on a dedicated comm stream │ │ │ │ │
71- └───────────┬───────────────┘ └─────────────┬────────────────┘ └──────────────┬───────────────┘
60+ ┌──────────────────────────── ┐ ┌──────────────────────────────┐ ┌──────────────────────────────┐
61+ │ pkg/distributed/ │ │ pkg/elastic/ │ │ pkg/kernels/ │
62+ │ parallel_mesh.py │ │ fault_monitor.py │ │ moe_router.py │
63+ │ │ │ │ │ │
64+ │ • ParallelTopology │ │ • ElasticTrainerHarness │ │ • MoERouter (nn.Module) │
65+ │ • init_device_mesh((dp,ep))│ │ • AsyncCheckpointer │ │ ├─ Triton fused forward / │
66+ │ with TP axis reserved │ │ • _PinnedHostStager │ │ │ autograd backward │
67+ │ • DistributedMoELayer │ │ • ClusterStateMachine │ │ │ - dynamic-bound mask │
68+ │ • apply_fsdp2(...) │ │ • LocalNVMeAdapter │ │ │ - 128B aligned loads │
69+ │ • all_to_all_dispatch │ │ • S3Adapter (boto3) │ │ └─ CPU fallback path │
70+ │ on dedicated comm stream │ │ │ │ │
71+ └───────────┬──────────────── ┘ └─────────────┬────────────────┘ └──────────────┬───────────────┘
7272 │ │ │
7373 │ DeviceMesh sub-meshes │ pinned-host snapshot queue │ routing tokens
7474 │ ("pp","dp","ep","tp") │ │ + gating weights
0 commit comments