增强视觉 | 计算机视觉 增强现实

Ref: Ming-Ming Cheng, Fang-Lue Zhang, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. 2010. RepFinder: Finding Approximately Repeated Scene Elements for Image Editing. ACM Tran. Graph. (SIGGRAPH 2010). 29, 3, 1-8.

重复元素大量存在于人造和自然场景之中。受遮挡、部分缺失、物体间形变、光照变化等影响，在编辑这些图片过程中保持重复元素及其相互关系并非易事。手工保持重复元素之间的关系是非常耗时而且容易出错的。我们提出了一中新的算法框架：利用简单的用户交互来辅助检测和提取这些重复元素。该检测方法基于一中新的轮廓带图的方法，能够鲁棒的提取重复元素并获得它们之间的遮挡关系。进一步采用拓扑排序，可以建立这些相互遮挡重复实例之间的局部深度关系。通过分析其它未被遮挡的重复实例，我们可以对被遮挡物体进行补全。这些提取出的重复实例可以进一步被用于多种无缝的高层次图像编辑应用中。我们通过很多的不同复杂度的实例，演示了该算法框架的多种应用。这些应用包括：图像重排、编辑传播、变形传递和实例替换。

相关资料（论文，部分代码等可从作者主页获取：http://cg.cs.tsinghua.edu.cn/people/~cmm/）

提示：图像编辑长期以来多集中在像素或者patch级别的编辑。然而人类理解和处理信息的方式是基于场景物体级别的。从图像中检测有意义的物体并用于编辑是一个很好的方向，有很多事情还可以做。这篇文章只是一个开始，演示了部分应用。局限性也很明显：目前只利用了形状信息，检测和对应估计并未用到颜色和纹理，结果有局限性；作为场景物体级别图像编辑的一个开端，所演示的例子也比较简单，不能处理比较大的形变等，用户通常期望能处理更加复杂的情况。在这个方向上应该还有很多事情值得进一步推敲。