一、简介

tracking-map用于跟踪pt-ecosystem小组在Ascend NPU适配一些热门生态工具的进展。

**非常感谢这些优秀的生态工具能接受我们的PR

二、项目清单

24年Q4

1、基于transformers、llama-factory、openMind做的一系列微调指导

• 以huggingface-transformers为例，创建一个可供使用昇腾原生支持三方套件的环境
• 以llama-factory为例，快速使用Qwen2.5-7B-Instruct模型完成一个微调任务
• 使用昇腾原生支持生态库llama-factory做法律垂域模型微调

2、后来，上述文章被整合，并发到了官网公众号宣传

• 文章标题：基于应用使能套件的行业模型微调实践

3、ModelZoo-PyTorch经典模型库

• 规定随版本演进模型范围
• 优化环境变量说明
• 新增代码提交规范
• 随版本演进模型每季度刷新性能基线

4、ModelZoo-GPL下YOLO系模型

• 以YOLOv8为例示范迁移模型和调优路径

25年Q1

1、IntrernLMv3发布后0 day支持xtuner npu

• 在-1 day令xtuner原生支持Ascend NPU: InternLM/xtuner#983
• NPU中使用InternLMv3快速上手指导: InternLM/InternLM#816
  • 贡献基于huggingface-transformers直接推理的脚本
  • 基于已适配的xtuner，在InternLMv3发布当天即完成在xtuner的LoRA微调验证
  • 贡献基于llama-factory的微调脚本，并在发布当天完成InternLMv3精度和性能的验证

2、torchtune原生支持

• NPU单卡功能相关: meta-pytorch/torchtune#2234
• NPU多卡分布式相关：meta-pytorch/torchtune#2646
• roadmap: meta-pytorch/torchtune#2288

3、OpenRLHF原生支持

• OpenRLHF原生支持NPU: OpenRLHF/OpenRLHF#605
• Q2 RoadMap：OpenRLHF/OpenRLHF#914
• 因OpenRLHF没有支持第三方device计划，后续转为此项目维护：pt-ecosystem/OpenRLHF-NPU

4、transformers中原生支持sdpa和flash-attention

• 尝试在transformers中开启SDPA：PR1、PR2
• transformers原生支持npu的flash attention：PR1、PR2 、PR3

25年Q2

1、NPU支持使用OpenFold

• torch.multinomial在ARM和x86中使用的不同点：pytorch/pytorch#148247
• OpenFold项目：使用示例脚本

2、在RL场景中vllm-ascend需要一些独特的修改

• vllm-ascend支持sleep mode功能：vllm-project/vllm-ascend#320
• 修复RL场景拉起vllm的功能问题：vllm-project/vllm-ascend#884
• 为vllm_ascend_C增加lazy init：vllm-project/vllm-ascend#1234

3、veRL原生支持NPU

• 原生支持PR：volcengine/verl#332
• verl Q2 Roadmap：volcengine/verl#900
• 支持verl profiling：volcengine/verl#2194
• 支持LLM GRPO：volcengine/verl#332
• 支持LLM DAPO：volcengine/verl#1858
• 支持VL GRPO：volcengine/verl#1924

4、ascend-ring-attention项目

• 提供ascend npu的ring-attention支持：ji-huazhong/ring-attention-ascend#1

25年Q3

1、在RL场景中vllm-ascend需要一些独特的修改（继承q2，持续）

• 配套torch_npu升级：vllm-project/vllm-ascend#1390
• DFX-澄清报错信息：vllm-project/vllm-ascend#1706
• 修复Qwen2.5-VL场景功能缺失：vllm-project/vllm-ascend#1705

2、veRL原生支持NPU（继承q2，持续）

• verl的npu原生支持工作被官方昇腾AI开发者公众号报道
• verl Q3 RoadMap：volcengine/verl#2171
• 支持SFT：volcengine/verl#2240
• 支持Retool SFT：volcengine/verl#3000
• 支持ray actor sharing situation：volcengine/verl#2341
• 增加Profiling指导：volcengine/verl#2514
• profiling discrete模式下支持按阶段采集：volcengine/verl#2750
• 增强CI能力：volcengine/verl#2089
• 添加融合算子：volcengine/verl#3260
• Refactor：volcengine/verl#2542, volcengine/verl#1974
• Fix：volcengine/verl#2459, volcengine/verl#2541, volcengine/verl#2477, volcengine/verl#2291, volcengine/verl#3052
• 关于doc：volcengine/verl#3063, volcengine/verl#3127

3、transformers中集成其他npu融合算子

• 跟踪issue：huggingface/transformers#39105
• 第1个PR尝试，可作为临时解决方案：huggingface/transformers#39238
• 使用kernels工具重构：kernels现已原生支持NPU-huggingface/kernels#146
• 可以通过kernels + transformers直接使用flash attention和RMSNorm，存放于该组织中https://huggingface.co/kernels-ext-npu

4、SGLang + verl工作

• 跟踪issue：volcengine/verl#2916

5、ROLL的原生支持

• 第一个PR（合作）：alibaba/ROLL#99

三、pt-ecosystem小组成员

24年10月-至今，参与pt-ecosystem适配工作的成员包含:

• @zheliuyu
• @FightingZhen
• @zhuo97
• @Nicorgi
• @as12138
• @tongtong0613
• @Tonyztj
• @Keilo001
• @Leo-imperial
• @obj12