Android studio 使用图像分类的Tensorflow lite android studio医疗诊断应用程序

问题：我正在尝试与

第一个应用程序Plant app允许处理单个图像，并且模型已经在上面运行

第二个应用程序，图像分割应用程序，有一个伟大的图像分割功能，供用户和研究人员了解该模型正在看什么

由于图像分割应用程序的复杂性，我想将Plant应用程序合并到分割应用程序中

segmentation应用程序的问题是我需要将segmentation应用程序从连续视频更改为单个图像，并模拟输入特征。我不知道是否有一个简单的方法来做到这一点

医学图像分类模型已经完成，并在Plant应用程序上运行

应用的预期结果： 输入是一幅医学图像，输出是一幅正面区域突出显示的图像，带有置信度百分比的整体正面/负面指示

问：是否有人链接到将这两个应用程序或指南组合成新应用程序的方法。在过去的五个月里，我一直在做这项工作，在第二个代码中，我遇到了一些问题，比如在更改模型输入特征、集成标签以及将相机从连续图像更改为单个图像时，如何定位该区域

谢谢，希望我提供了足够的信息

应用的预期结果：输入为医学图像，输出为突出显示阳性区域的图像，整体阳性/阴性指示具有置信百分比

听起来，当您说突出显示阳性区域时，您的意思是要突出显示显示分类模型检测到的特定疾病的区域。如果这就是你的意思，据我所知，我不相信有一种简单的方法可以按照你描述的方式将这两个模型结合起来

segmentation应用程序的问题是我需要将segmentation应用程序从连续视频更改为单个图像，并模拟输入特征。我不知道是否有一个简单的方法来做到这一点

从实时视频处理到单个图像处理的改变应该是非常简单的。第二部分，模型输入特征，由于一些原因，不会如此琐碎地改变

1） 图像分割（Deeplab）模型需要图像作为输入。我们不能突然改变输入格式，希望它能神奇地工作

2） 众所周知，基于CNN的图像分类模型很难被人类理解。它只是给你标签和信心，但它是基于整个图像。输出不包含有关图像中哪些区域对特定（标签、置信度）对贡献最大的任何信息。因此，如果我们能够以某种方式修改分割模型以获取额外的信息，那么图像分类模型首先就不会提供任何此类有用的信息

相反，我建议你搜索一些关于这个主题的研究论文，看看你是否能实现这些想法。例如，我的快速搜索给了我一个答案。应该还有更多关于医学图像分类/分割的论文，在这些论文中，我没有任何领域知识可以进一步帮助你们

应用的预期结果：输入为医学图像，输出为突出显示阳性区域的图像，整体阳性/阴性指示具有置信百分比

听起来，当您说突出显示阳性区域时，您的意思是要突出显示显示分类模型检测到的特定疾病的区域。如果这就是你的意思，据我所知，我不相信有一种简单的方法可以按照你描述的方式将这两个模型结合起来

segmentation应用程序的问题是我需要将segmentation应用程序从连续视频更改为单个图像，并模拟输入特征。我不知道是否有一个简单的方法来做到这一点

从实时视频处理到单个图像处理的改变应该是非常简单的。第二部分，模型输入特征，由于一些原因，不会如此琐碎地改变

1） 图像分割（Deeplab）模型需要图像作为输入。我们不能突然改变输入格式，希望它能神奇地工作

2） 众所周知，基于CNN的图像分类模型很难被人类理解。它只是给你标签和信心，但它是基于整个图像。输出不包含有关图像中哪些区域对特定（标签、置信度）对贡献最大的任何信息。因此，如果我们能够以某种方式修改分割模型以获取额外的信息，那么图像分类模型首先就不会提供任何此类有用的信息

---

相反，我建议你搜索一些关于这个主题的研究论文，看看你是否能实现这些想法。例如，我的快速搜索给了我一个答案。应该还有更多关于医学图像分类/分割的论文，在这些论文中，我没有任何领域知识可以进一步帮助您。

感谢您的反馈，这篇论文击中了我正在努力实现的许多想法。我只是想在接下来的几个月里花在这个项目上之前问问社区。我不是一个真正的ml领域专家（我更倾向于TFLite框架方面），所以你可能应该找到并咨询更多的ml模型专家，看看他们是怎么想的。谢谢你的反馈，这篇论文击中了我正在努力的许多想法。我只是想在接下来的几个月里花在这个项目上之前问问社区。我并不是一个真正的ml领域专家（我更倾向于TFLite框架方面），所以你可能应该找到并咨询更多的ml模型专家，看看w