tensorflow服务批次推理慢

请问,如何解决速度慢的问题?

形状:(1、32、387、1)

数据时间:0.005219221115112305

发布时间:0.24771547317504883

结束时间:0.2498164176940918

shape:(2,32,387,1)

数据时间:0.0056378841400146484

发布时间:0.4651315212249756

结束时间:0.4693586826324463


docker run --runtime = nvidia -it --rm -p 8501:8501

-v“ $(pwd)/ densenet_ctc:/ models / docker_test”

-e MODEL_NAME = docker_test tensorflow / serving:最新gpu

-tensorflow_intra_op_parallelism = 8

-tensorflow_inter_op_parallelism = 8

-enable_batching = true

-batching_parameters_file = / models / docker_test / batching_parameters.conf


num_batch_threads {值:4}

batch_timeout_micros {值:2000}

max_batch_size {value:48}

max_enqueued_batches {值:48}


GPU:1080Ti

谢谢。

yuxiang1218 回答:tensorflow服务批次推理慢

暂时没有好的解决方案,如果你有好的解决方案,请发邮件至:iooj@foxmail.com
本文链接:https://www.f2er.com/3140299.html

大家都在问