怎么benchmark FlashDecoding性能

[feifeibear]

hello开发者，

我看到OpenPPL更新的新闻：
https://mp.weixin.qq.com/s/L35pj8fYakvYnL4LYu6nuw

想测试一下这个项目里flashddecoding的速度。请问怎么能够复现文章中的结果，有没有测试脚本？
另外这个项目里的flashdecoding和flashattn项目里的有什么区别么？

[Alcanderian]

你好，文章中flash decoding的测试结果为llama2 7b整网解码的加速比，可以使用
https://github.com/openppl-public/ppl.nn.llm/blob/master/tools/benchmark_llama.cc
输入相应的参数进行复现，基本使用方法可以参考
https://github.com/openppl-public/ppl.nn.llm/blob/master/tools/benchmark.sh