Artificial intelligence 三维图像数据集的特征提取

Artificial intelligence 三维图像数据集的特征提取,artificial-intelligence,classification,feature-detection,feature-extraction,surf,Artificial Intelligence,Classification,Feature Detection,Feature Extraction,Surf,假设使用SIFT、SURF或MSER方法进行2D图像特征提取的工作流,然后使用编码的单词/特征包,随后用于训练分类器 我想知道对于3D数据集是否有类似的方法,例如,MRI数据的3D体积。在处理二维图像时,每个图像表示一个实体,其中包含要检测和索引的特征。但是,在三维数据集中,是否可以从三维实体中提取特征?是否必须通过将3D图像分解为多个2D图像(切片)逐片执行此操作?或者有没有一种方法可以在保留3D信息的同时将3D维度降低到2D 任何指针都将不胜感激。您可以通过预先训练的3D卷积神经网络传递3D

假设使用SIFT、SURF或MSER方法进行2D图像特征提取的工作流,然后使用编码的单词/特征包,随后用于训练分类器

我想知道对于3D数据集是否有类似的方法,例如,MRI数据的3D体积。在处理二维图像时,每个图像表示一个实体,其中包含要检测和索引的特征。但是,在三维数据集中,是否可以从三维实体中提取特征?是否必须通过将3D图像分解为多个2D图像(切片)逐片执行此操作?或者有没有一种方法可以在保留3D信息的同时将3D维度降低到2D


任何指针都将不胜感激。

您可以通过预先训练的3D卷积神经网络传递3D体积来执行特征提取。因为预先训练的3D CNNs很难找到,你可以考虑在一个相似但不同的数据集上训练自己。 是一个3D CNN在千层面上的代码链接。作者使用了VGG和Resnet的3D CNN版本

或者,可以对体积的每个切片执行二维特征提取,然后使用PCA将每个切片的特征组合起来,以将维度降低到合理的程度。为此,我建议使用ImageNet预培训的Resnet-50或VGG


在凯拉斯,可以找到这些

假设一个灰度2D图像,该图像在数学上可以描述为一个矩阵。推广矩阵的概念会在理论上产生关于(非正式地,你可以想到多维数组)的结果。即,RGB 2D图像表示为大小为[宽度、高度、3]的张量。此外,RGB 3D图像表示为大小[宽度、高度、深度,3]的张量。此外,与矩阵一样,还可以执行张量-张量乘法

例如,以2D图像为输入的典型神经网络。这样一个网络基本上只做矩阵乘法(尽管节点上存在元素非线性运算)。同样,神经网络通过执行张量乘法对张量进行操作

现在回到你的特征提取问题:事实上,张量的问题是它们的高维性。因此,现代研究问题关注保留初始(最有意义)信息的张量的有效分解。为了从张量中提取特征,张量分解方法可能是降低张量秩的良好开端。关于机器学习中张量的几篇论文如下:


希望这能有所帮助,尽管后面的数学并不容易。

与python或matlab有什么关系?