Skip to content

Commit 8fe5809

Browse files
authored
Update README with pkg structure and components
1 parent f81b1fd commit 8fe5809

1 file changed

Lines changed: 12 additions & 12 deletions

File tree

README.md

Lines changed: 12 additions & 12 deletions
Original file line numberDiff line numberDiff line change
@@ -57,18 +57,18 @@ checkpoint-stall bug can be isolated to a single line, not a six-team incident.
5757
┌───────────────────────────────────┼────────────────────────────────────┐
5858
│ │ │
5959
▼ ▼ ▼
60-
┌───────────────────────────┐ ┌──────────────────────────────┐ ┌──────────────────────────────┐
61-
│ pkg/distributed/ │ │ pkg/elastic/ │ │ pkg/kernels/ │
62-
│ parallel_mesh.py │ │ fault_monitor.py │ │ moe_router.py │
63-
│ │ │ │ │ │
64-
│ • ParallelTopology │ │ • ElasticTrainerHarness │ │ • MoERouter (nn.Module) │
65-
│ • init_device_mesh((dp,ep)) │ │ • AsyncCheckpointer │ │ ├─ Triton fused forward / │
66-
│ with TP axis reserved │ │ • _PinnedHostStager │ │ │ autograd backward
67-
│ • DistributedMoELayer │ │ • ClusterStateMachine │ │ │ - dynamic-bound mask
68-
│ • apply_fsdp2(...) │ │ • LocalNVMeAdapter │ │ │ - 128B aligned loads
69-
│ • all_to_all_dispatch │ │ • S3Adapter (boto3) │ │ └─ CPU fallback path │
70-
│ on a dedicated comm stream │ │ │ │ │
71-
└───────────┬───────────────┘ └─────────────┬────────────────┘ └──────────────┬───────────────┘
60+
┌───────────────────────────┐ ┌──────────────────────────────┐ ┌──────────────────────────────┐
61+
│ pkg/distributed/ │ │ pkg/elastic/ │ │ pkg/kernels/ │
62+
│ parallel_mesh.py │ │ fault_monitor.py │ │ moe_router.py │
63+
│ │ │ │ │
64+
│ • ParallelTopology │ │ • ElasticTrainerHarness │ │ • MoERouter (nn.Module) │
65+
│ • init_device_mesh((dp,ep))│ │ • AsyncCheckpointer │ │ ├─ Triton fused forward / │
66+
│ with TP axis reserved │ │ • _PinnedHostStager │ │ │ autograd backward │
67+
│ • DistributedMoELayer │ │ • ClusterStateMachine │ │ │ - dynamic-bound mask │
68+
│ • apply_fsdp2(...) │ │ • LocalNVMeAdapter │ │ │ - 128B aligned loads │
69+
│ • all_to_all_dispatch │ │ • S3Adapter (boto3) │ │ └─ CPU fallback path │
70+
│ on dedicated comm stream │ │ │ │ │
71+
└───────────┬───────────────┘ └─────────────┬────────────────┘ └──────────────┬───────────────┘
7272
│ │ │
7373
│ DeviceMesh sub-meshes │ pinned-host snapshot queue │ routing tokens
7474
│ ("pp","dp","ep","tp") │ │ + gating weights

0 commit comments

Comments
 (0)