想把一个 pytorch 的项目做成网络服务,每次都要 load 一个很大的 model 会不会开销太大?

torch 新手,想把自己的一个 torch 项目做成网络服务,如果每一个用户每请求一次,都要加载一个几百兆的 model,时间耗时长不说,而且用户多的时候会不会内存很快撑爆?我设想的是可不可以让这个 model 常驻内存,不用每次都 torch.load(model), 或者还有没有其他好的方法?

相关文章

5 thoughts on “想把一个 pytorch 的项目做成网络服务,每次都要 load 一个很大的 model 会不会开销太大?

  1. 当然可以啊,把模型提前 load 好,然后每次相应请求做 forward 。不过更好的方案是可以考虑 torchserver 或者 tensorflow 的 server 套件

  2. 启动的时候就加载好模型,这个只需要一次,为啥每个请求都要加载?后续请求的时候,模型只要做 forward 就可以了。

发表评论

电子邮件地址不会被公开。 必填项已用*标注