Sherpa-onnx 推理可行性？

[mokurin000]

如题，目前的小轻量模型的识别准度较差，可能影响后续llm对接生成选项等
需要试行是否可能利用qualcomm NPU加速推理运行

可能参考项目: Local Dream，基于tflite可以利用qualcomm npu

前置issue: k2-fsa/sherpa-onnx#740

[csukuangfj]

我们正在支持 sherpa-onnx 里面的 qnn + asr. 已经跑通 qnn-net-run + sense voice, 正在写 c++ 代码

[JStone2934]

我们正在支持 sherpa-onnx 里面的 qnn + asr. 已经跑通 qnn-net-run + sense voice, 正在写 c++ 代码

太棒了，这个版本用的是开源的Vosk模型，所以识别效果确实有点感人，要是有更好的模型肯定效果好很多

[csukuangfj]

支持 qnn qualcomm NPU + android + sense voice + 实时语音识别啦！

编译好的 apk 可以在下面的网址下载
https://k2-fsa.github.io/sherpa/onnx/android/apk-qnn-simulate-streaming-asr-cn.html

代码在
k2-fsa/sherpa-onnx#2803

---

等我们加 qnn 的文档.

[hhh2210]

好厉害！desktop分支的 ASR 也能使用 NPU & GPU来实现流式的语音转写文字吗？
@csukuangfj
参考#20 这里的讨论，目前 desktop 端正在开发中，但 ASR 因为比较复杂所以先 mock 了

[csukuangfj]

请先测试cpu的速度。

如果cpu的速度不能满足你的要求，Windows上可以用高通的npu或者英伟达的gpu，sherpa-onnx都支持的

[a122760]

zipformer-ctc支持npu吗，都是咋量化的，有没有导出模型的脚本呀

[csukuangfj]

有没有导出模型的脚本

还在整理。等我们整理完，会提交到 sherpa-onnx 或者 icefall repo 里。

---

zipformer-ctc支持npu

都有模型，别人都测试过了。所以，是支持 qualcomm npu 的。

[a122760]

牛逼

[a122760]

对了，军哥，这里zipformer-ctc模型是咋量化的，啥量化规格呀

[csukuangfj]

温馨提示，
https://github.com/k2-fsa/sherpa-onnx/blob/master/.github/workflows/export-zipformer-ctc-to-qnn-20250703.yaml#L223

代码都是开源的.

[a122760]

收到收到，谢谢军哥