如何使用tensorflow抓斗? 我试图通过应用GrpPulter来优化服务性能的TysFooRM模型,我正在研究C++的TysFraseService服务。 好了,我应该在LoadSavedModel之后做抓取器的工作。但是我不确定我到底应该做什么,我应该自己编写op优化还是只调用API? 我在谷歌搜索了很长一段时间,没有看到解决问题的帖子或代码片段

如何使用tensorflow抓斗? 我试图通过应用GrpPulter来优化服务性能的TysFooRM模型,我正在研究C++的TysFraseService服务。 好了,我应该在LoadSavedModel之后做抓取器的工作。但是我不确定我到底应该做什么,我应该自己编写op优化还是只调用API? 我在谷歌搜索了很长一段时间,没有看到解决问题的帖子或代码片段,tensorflow,optimization,deep-learning,tensorflow-serving,Tensorflow,Optimization,Deep Learning,Tensorflow Serving,您能给我一些建议或代码示例吗?我通过搜索tensorflow代码库找到了答案 tensorflow::grappler::GrapplerItem item; item.fetch = std::vector<std::string>{output_node_}; item.graph = bundle_.meta_graph_def.graph_def(); tensorflow::RewriterConfig rw_cfg; rw

您能给我一些建议或代码示例吗?

我通过搜索tensorflow代码库找到了答案

     tensorflow::grappler::GrapplerItem item;
     item.fetch = std::vector<std::string>{output_node_};
     item.graph = bundle_.meta_graph_def.graph_def();
     tensorflow::RewriterConfig rw_cfg;
     rw_cfg.add_optimizers("constfold");
     rw_cfg.add_optimizers("layout");
     auto new_graph_def = bundle_.meta_graph_def.mutable_graph_def();
     tensorflow::grappler::MetaOptimizer meta_opt(nullptr, rw_cfg);
     meta_opt.Optimize(nullptr, item, new_graph_def);
tensorflow::grappler::GrappleItem项;
item.fetch=std::vector{output\u node};
item.graph=bundle_u.meta_graph_def.graph_def();
tensorflow::RewriterConfig rw_cfg;
rw_cfg.添加_优化器(“constfold”);
rw_cfg.添加_优化器(“布局”);
auto new_graph_def=bundle_.meta_graph_def.mutable_graph_def();
tensorflow::grappler::元优化器meta_opt(nullptr,rw_cfg);
元选项优化(nullptr、item、new_graph_def);
通过添加上面的代码行,我的GraphDef序列化文件大小从20MB减少到了6MB,因此它确实进行了修剪。但是我发现session.Run()比以前花费了更多的时间

============ 更新:
上述用法不正确。默认设置使用grappler优化图形,并在加载保存的模型时运行。通过查看
LoadSavedModel
相关代码,您可以了解正确的用法。

您可以分享其他提示吗?我试图保存一个优化的图形,并在以后重用它