Computer vision 如何在Pytork中实现融合层技术?

Computer vision 如何在Pytork中实现融合层技术?,computer-vision,conv-neural-network,pytorch,data-science,Computer Vision,Conv Neural Network,Pytorch,Data Science,目前,我正在创建图像着色模型。我想在it融合层中使用,由Iizuki等人提出,但我在Pytorch中实现它时遇到了一些问题 其基本思想是从图像中独立地提取中间层特征和全局特征,然后根据特征进行组合 其中u,v是“像素”数,y_global-大小为64的全局特征向量,y^mid__v-大小为64的中级特征向量。所以我们开始讨论 中间层的输出形状是(bs,64,28,28),全局特征提取器的输出形状是(bs,64) 我尝试使用nn.Embedding()计算每像素,但它似乎工作不正确,假设bs不是1

目前,我正在创建图像着色模型。我想在it融合层中使用,由Iizuki等人提出,但我在Pytorch中实现它时遇到了一些问题

其基本思想是从图像中独立地提取中间层特征和全局特征,然后根据特征进行组合 其中u,v是“像素”数,y_global-大小为64的全局特征向量,y^mid__v-大小为64的中级特征向量。所以我们开始讨论

中间层的输出形状是(bs,64,28,28),全局特征提取器的输出形状是(bs,64)

我尝试使用nn.Embedding()计算每像素,但它似乎工作不正确,假设bs不是1

如何在Pytork中优雅而有效地实现此技术


我尝试使用nn.Embedding()计算每像素,但似乎效果不好

bs用于批量大小bs用于批量大小