如何使用tensorflow图形在图像空间中进行优化？_Tensorflow_Machine Learning_Graphics_Deep Learning_Computer Vision

如何使用tensorflow图形在图像空间中进行优化？

tensorflow machine-learning graphics deep-learning computer-vision

如何使用tensorflow图形在图像空间中进行优化？,tensorflow,machine-learning,graphics,deep-learning,computer-vision,Tensorflow,Machine Learning,Graphics,Deep Learning,Computer Vision,我正在尝试设置一个玩具问题，该问题复制了此站点上的第3个图形：如图所示，损失函数介于两幅图像之间。一个人是如何设置这样一个问题的我非常仔细地浏览了他们github网站上的每个tensorflow colab笔记本。有两个例子接近我要做的，第一个是6dof估计，第二个是相机内部估计。然而，这两个问题都是使用l2范数在顶点上进行优化的。如何获得tensorflow图形来渲染虚拟对象，并执行两个图像之间的差异（地面真实和tfg渲染）。一个小玩具示例将非常有用，特别是因为tfg站点的图3显示了这个

我正在尝试设置一个玩具问题，该问题复制了此站点上的第3个图形：

如图所示，损失函数介于两幅图像之间。一个人是如何设置这样一个问题的

我非常仔细地浏览了他们github网站上的每个tensorflow colab笔记本。有两个例子接近我要做的，第一个是6dof估计，第二个是相机内部估计。然而，这两个问题都是使用l2范数在顶点上进行优化的。如何获得tensorflow图形来渲染虚拟对象，并执行两个图像之间的差异（地面真实和tfg渲染）。一个小玩具示例将非常有用，特别是因为tfg站点的图3显示了这个示例

编辑1：经过一些研究，似乎我要找的是一个可微光栅化器。我使用光栅化器将场景合成为图像（2d贴图）。在我得到那个图像之后，我可以将它与我的基本事实相区别（使用我最喜欢的函数，如l2norm、l1norm或可微ssim）。tensorflow图形是否具有可微光栅化器？

答案是必须计算光线，然后计算辐照度。可以通过使用从每个虚拟像素发射的光线网格来实现这一点

但是，请注意，光栅化器虽然是可微的，但不支持阴影。tensorflow图形样本（例如球体和cow）中使用了面和bdrf来处理遮挡问题。

我想学习编写更好的问题。我如何改进这个？