概述
本文主要介绍一下 TorchServe 的测试和应用。
优势
从工程实现的角度看，TorchServe 是有很多优势的，包括 metrics, logging, batch interference。
实践
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
|
docker run --network=host -it pytorch/torchserve:0.7.1-cpu bash
# 进入容器之后
git clone https://github.com/pytorch/serve.git
cd serve
# 转化成mar
torch-model-archiver \
--model-name mnist \
--version 1.0 \
--model-file examples/image_classifier/mnist/mnist.py \
--serialized-file examples/image_classifier/mnist/mnist_cnn.pt \
--handler examples/image_classifier/mnist/mnist_handler.py
rm -rf model_store
mkdir model_store
mv mnist.mar model_store/
# 启动torchserve
torchserve --stop
torchserve \
--start \
--model-store model_store \
--models mnist=mnist.mar \
--ts-config examples/image_classifier/mnist/config.properties
# 测试
curl http://127.0.0.1:8080/predictions/mnist
# 自定义pth
torch-model-archiver \
--model-name test \
--version 1.0 \
--serialized-file test.pth \
--handler image_classifier
rm -rf model_store
mkdir model_store
mv test.mar model_store/
torchserve --stop
torchserve \
--start \
--model-store model_store \
--models test=test.mar
# 测试
curl http://127.0.0.1:8080/predictions/test
|
转换失败
参考资料
警告
本文最后更新于 2017年2月1日，文中内容可能已过时，请谨慎参考。