增强视觉 | 计算机视觉 增强现实

Images are static and lack important depth information of underlying 3D scenes. We introduce interactive images in the context of man-made environments wherein objects are simple, regular, share various non-local relations (e.g., coplanarity, repetitions, etc.), and are often repeated. We present an interactive framework to create a partial scene reconstruction based on cuboid-proxies using minimal user interaction. This enables a range of intuitive image edits mimicking real-world behavior, which are otherwise difficult to achieve. Effectively, the user simply provides high-level semantic hints, while our system ensures plausible operations by conforming to the extracted non-local relations. We demonstrate our system on a range of real-world images and validate the plausibility of the results using a user study.

阅读全文…

一个简单实用的视觉重要性检测方法。

Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. Global Contrast based Salient Region Detection. IEEE CVPR, Colorado Springs, USA, June 21-23, 2011. [Project page] [Bib]

项目主页： http://cg.cs.tsinghua.edu.cn/people/~cmm/saliency/

可执行程序已经公开。专利已经得到受理。代码和论文已经公开。显著性检测代码只有100行左右。

地址为：
http://cg.cs.tsinghua.edu.cn/montage/home.htm

还有一些功能正在添加。

Ref: Ming-Ming Cheng, Fang-Lue Zhang, Niloy J. Mitra, Xiaolei Huang, Shi-Min Hu. 2010. RepFinder: Finding Approximately Repeated Scene Elements for Image Editing. ACM Tran. Graph. (SIGGRAPH 2010). 29, 3, 1-8.

重复元素大量存在于人造和自然场景之中。受遮挡、部分缺失、物体间形变、光照变化等影响，在编辑这些图片过程中保持重复元素及其相互关系并非易事。手工保持重复元素之间的关系是非常耗时而且容易出错的。我们提出了一中新的算法框架：利用简单的用户交互来辅助检测和提取这些重复元素。该检测方法基于一中新的轮廓带图的方法，能够鲁棒的提取重复元素并获得它们之间的遮挡关系。进一步采用拓扑排序，可以建立这些相互遮挡重复实例之间的局部深度关系。通过分析其它未被遮挡的重复实例，我们可以对被遮挡物体进行补全。这些提取出的重复实例可以进一步被用于多种无缝的高层次图像编辑应用中。我们通过很多的不同复杂度的实例，演示了该算法框架的多种应用。这些应用包括：图像重排、编辑传播、变形传递和实例替换。

相关资料（论文，部分代码等可从作者主页获取：http://cg.cs.tsinghua.edu.cn/people/~cmm/）

提示：图像编辑长期以来多集中在像素或者patch级别的编辑。然而人类理解和处理信息的方式是基于场景物体级别的。从图像中检测有意义的物体并用于编辑是一个很好的方向，有很多事情还可以做。这篇文章只是一个开始，演示了部分应用。局限性也很明显：目前只利用了形状信息，检测和对应估计并未用到颜色和纹理，结果有局限性；作为场景物体级别图像编辑的一个开端，所演示的例子也比较简单，不能处理比较大的形变等，用户通常期望能处理更加复杂的情况。在这个方向上应该还有很多事情值得进一步推敲。

Ref: Ming-Ming Cheng, Guo-Xin Zhang. Connectedness of Random Walk Segmentation. Accepted by IEEE TPAMI.

基于随机游走模型的图像分割方法是图像分割的主流方法之一。关于该方法的传统研究认为：随机游走模型的分割结果具有连通性。本文通过研究与随机游走模型等价电路网络，提出了关于随机游走模型的几个新性质，同时通过理论证明和实际例子否定了传统观点。

相关论文和代码可以从作者主页得到  http://cg.cs.tsinghua.edu.cn/people/~cmm/。

这篇文章对理解随即游走模型有很大的帮助，文章的角度比较特别，有一定的启发性。