增强视觉 | 计算机视觉 增强现实

以上萝莉的微笑来自于SIGGRAPH 2009的文章Moving Gradients: A Path-Based Method for Plausible Image Interpolation。这文章解决了这么一个问题，如何由两幅输入图像A、B中计算A-B一系列合理的过渡图像。文章的基本想法是计算每个像素点的移动路径，从而得到一系列的中间过程。核心idea是在gradient domain上构建像素点和全局的correspondence，最后仍然归结于graph cut求解。idea类似于CV里的光流，引用某同学的话来说，这是heavy engineered method。项目主页（paper, ppt, demo）参见这里。

上面是从pair of images 生成 a series of image，反过来从video(a series of images)生成one image是个更加实用和有趣的问题。类似于文章的摘要，这个东西叫做video summary，比如下面这个来源于某个舞蹈视频。

以上图片来自于SIGGRAPH 2010的文章Dynamic Video Narratives，当然这篇文章不光是做静态的video summary，这个summary本身也可以是video。这个系统具体是咋做呢，首先是image stitching + GMM（前景提取）生成key frame，接着是alpha matting + blending的方法（又见graph cut）把frames拼上，最后再加上用户交互。咱强烈推荐这里的demo（谁来指导下如何直接插入视频?）。同样，paper参见这里。

某个家伙在参加了CVPR和SIGGRAPH后感叹：“I can learn more at CVPR”。从某种角度上看，Graphic里和Vision相关的东西，以engineering居多，尤其体现在SIGGRAPH里。或者换个角度来说，Vision里形而上的家伙越来越多，比如某paper在benchmark上又跑高了几个点…个人认为这和两者侧重点有很大关系。诸位又更倾向于何者呢？新颖有效的理论 or 成熟可靠的系统…