前一篇文章对 成功部署,尤其是将推理时间从原先python的20s以上提高到2s以内。尽管如此,仍面临以下问题:
- 足够快,但其主要是针对动漫,对于真实世界场景不够理想;
- 能够在速度和精度上取得权衡,但其仍然做不到实时应用,且效果也
幸
在部署层面,为了和原先的代码兼容,我们将在生成engine引擎之前直接对pth文件进行融合,完整的融合代码如下所示:
以根据实际需要进行修改。融合后得到最新的pth文件后,我们需要将其转为onnx版本,完整的代码如下(也就是在之前的转换脚本中增加一行代码即可):
最后,我们采用engine引擎,示例cmd的命令如下: