从时间角度来看,将PyTorch模型与TVM集成会使情况变得更糟

最近有人告诉我,在Apache tvm的帮助下集成/编译PyTorch模型应该可以加快推理速度,但是对于tvm的使用却非常困惑,因为似乎有多种使用方法。

blog on their website

用法很简单:

import torch_tvm
torch_tvm.enable()

就是这样!然后,PyTorch将尝试在其JIT编译过程中将所有可能的运算符转换为已知的Relay运算符。

如果就这么干,那么为什么其他特定的教程如此全面?经过一些教程之后,我假设另一件事(不确定我是否正确)是tvm不能真正使用默认的运行割炬代码的方式,而需要使用“ jit”编译器(运行割炬代码的非默认方式)研究。该假设基于github回购教程显示以下代码段的事实

import torch
import torch_tvm

torch_tvm.enable()

# The following function will be compiled with tvm
@torch.jit.script
def my_func(a,b,c):
    return a * b + c   

其中函数my_func用装饰器包裹,该装饰器看起来是用jit编译函数的。但是,使用此完全相同的功能并在有或没有包装器+ tvm的情况下定时使用它都表明该功能的正常使用效率更高。如果它没有加快速度,那么jit + tvm到底能提供什么帮助?如果应该加快速度,为什么这里不是这种情况?

P.S。对于我的问题的全面描述,我深表歉意。我什至无法理解这一点,甚至在通过torch_tvm阅读并修改了相当多的内容后,也无法了解发生了什么。感谢与资源的任何链接或可能对我有所帮助的任何解释。

etric520 回答:从时间角度来看,将PyTorch模型与TVM集成会使情况变得更糟

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/1352934.html

大家都在问