增强视觉 | 计算机视觉 增强现实

在瘾科技上把computex2011的新闻浏览了一遍，摘出一些跟互动，3D，cv可能有点关系的，与君共享。声明以下几乎所有信息来源都是来自瘾科技，各位可按图索骥。

1：复眼3D镜头？

台湾的Amechel公司设计一个单反套头，利用 一个九宫格式的构造来扑捉立体影像。（要靠后期软件合成。）

Link

阅读全文…

呵呵，不能只看不劳动！最近大家对Siggraph的关注较多，这里也发一些与3D相关的上来。

1. 3D&4D重建系统

第一个是关注了好几年的三维重建设备，这是dimension imaging公司的产品，采用完全无标记点的被动式3D重建技术，在大部分单位处于研究阶段的时候，他们已经把它开发出来并产品化，效果还不错。

可惜今年没有展出更酷的4D采集系统，有兴趣的同学只能去Dimensional imaging（www.di3d.com）官方网上看视频了。Baidu一下，竟然国内有人已经玩过了，见视频3d capture

2. Sony 360度3D显示器

另外，比较好玩就是Sony展出了新的360度显示器RayModeler，观众能从任意角度看到物体，仿佛物体真实存在一样。相比去年展的，这个越来越像产品了，是不是代表未来显示器的一个方向呢？

这里有视频，Sony\’s 360 degree 3D display

3d Shape Reconstruction from Photographs: a Multi-View Stereo Approach

嘿嘿。明天开始扫盲。有兴趣的一起来学习啊。

阅读全文…

那啥,主编催稿了.

人类获得感知的3D经验是由于两只眼睛看到的东西所产生的视差经过大脑处理而产生的.

这个是常识.

当然研究人是如何学习的是很有意义的,但是这并不一定是建立人工学习机器的最佳途径,正如人们对鸟类如何飞行的研究实际上对建造飞机并没有多少帮助一样.

这个是Vapnik的统计学习理论的本质张学工的2000年版的译本的第九页的附注1

从上面我们可以知道其实要产生3d的效果和必须弄个两只眼的拍摄系统并没有直接的联系.

这时候Changyin Zhou这个在复旦本科学统计学,硕士学计算机,博士去哥伦比亚大学的童鞋在今年的CVPR上提出了Depth from Diffusion这篇论文,就是不用2个眼睛的方法获得3D的效果,而是通过一个Optical Diffuser(光学散光器)来做一个散光,通过同一个眼的散光前和散光后的两张图来生成一个三维的效果,也就是获得深度信息.

这个就是传说中的光学散光器,说的再通俗点,模糊的玻璃之类的东西

通过这个方法就可以拍出这样的照片

之后就经过一系列复杂的计算就能计算出相应的深度,这个就是深度的图,效果不错

最后再来两个演示

演示2

这技术的应用是很广泛的,比如3D的拍摄,就不需要再计算那复杂的遮挡问题了,3d照相机摄像机就可以重做了,复杂的3D编码系统就可以简单了,通过照片重构3D的场景也简单了,鱼眼相机就可以像搞定全景视图一样搞定3D的全景视图了…..

赞下这复旦的童鞋

谁说看3D得两只眼…..

最后我深深的觉得

其实引起作者遐思的原因是这张图片(主编说了,不能放黄色图片)悄悄的放上来http://is.gd/ciNh2

项目主页:http://www1.cs.columbia.edu/CAVE/projects/depth_from_diffusion/

论文下载地址:http://www1.cs.columbia.edu/CAVE/publications/pdfs/Zhou_CVPR10.pdf

基于计算机视觉基础练习（一）的进一步练习（练习仍然来自于Erasmus Mundus Vision and Robotics (VIBOT) program）

参考资料可以仍然用Computer vision: algorithm and applications，draft March 24 2010, chapter 2.1.5

由于练习描述比较长，就不直接贴在帖子里了。请下载练习：

cvexercise2questions

参考report：

cvexercise2 report

参考matlab code （因为仍然是贴在pdf中的，所以同样注意换行错误）：

cvexercise2code

enjoy!!!!

决定发几个原来上课时候做的一些小练习，感觉对计算机视觉入门挺有帮助的，希望感兴趣的童鞋可以自己试一试。（练习来源于Erasmus Mundus vision and robotics (VIBOT) program)

参考书籍可以用前些天发的一个帖子推荐的那本书，Computer vision: algorithm and applications，draft March 24 2010, chapter 2.1.5。自己稍微翻看了一下这本书，相当相当不错，非常非常与时俱进。。。同推荐一下。。。

Calibrate a simulated camera

Description: Calibrate a simulated camera. Construct the transformation matrix from a set of
parameters. Get 3D and 2D points. Calibrate by using the method of Hall. Check the accuracy
against the increase of noise in the image points.
Programming platform: Matlab
Part 1
Step 1. Define the intrinsic parameters and extrinsic parameters with the following values:
au=557.0943; av=712.9824; u0=326.3819; v0=298.6679;
f=80 mm.;
Tx=100 mm.; Ty=0 mm.; Tz=1500 mm.;
Phix=0.8*pi/2; Phiy=-1.8*pi/2; Phix1=pi/5; Euler XYX1
Image size:640×480
Step 2. Get the intrinsic and extrinsic transformation matrices
Step 3. Define a set of 3D points in the rang [-480:480;-480:480;-480:480]. Note the points
should be non-linear and non-coplanar. At least you need to define a set of 6 points. It’s not
necessary to demonstrate mathematically the non-linearity/non-coplanarity, just define 6 points
randomly in the 3D space.
Step 4. Compute the projection on the image plane by using the camera transformation matrix.
Do not remove the subpixel precision of the obtained points.
Step 5. Open a window in matlab which will be used as the image plane and draw the 2D
points. Are the points well spread in the image plane? Will the distribution of points in the image
affect the accuracy in the computation?
Step 6. By using the points of Step 3 and their projection obtained in Step 5, compute the 3×4
transformation matrix by using the method of Hall.
Step 7. Compare the matrix obtained in Step 6 to the one defined in step 2.
Step 8. Add some Gaussian noise to the 2D points producing discrepancies between the range
[-1,+1] pixels for the 95% of points. Again repeat step 6 with the noisy 2D points and the ones
defined in step 3. Compare the obtained matrix to the one you got in step 6 with the non-noisy
points.
Step 9. Increase the number of 3D points up to 10 points and then up to 50 points and repeat
step 8. More the points we use more accurate is the matrix obtained.
Part 2.
Step 10. Define the vector X of the method of Faugeras. Compute X by using both leastsquares
(LS) and Singular Value Decomposition (SVD) by using the points of step 3 and 4,
without noise. Extract the camera parameters from both computations. Compare the obtained
parameters with the ones defined in Step 1.o
Step 11. Add Gaussian noise to the 2D points (produce noise so that the 95% is in the rang
[-1,1], then in the rang [-2,2] and finally in the rang [-3,3] ) and compute vector X (repeat step
10) for each rang. Which are the parameters more influenced by noise? Which method of
computation is more accurate (LS or SVD)? Which method is more accurate (Faugeras or Hall)
with such noise?
Part 3.
Step 12. Open another window in matlab and draw the world coordinate system, the camera
coordinate system, the focal point, the image plane, and both 3D points and their corresponding
projections on the image plane by using the parameters of step 2 and points without noise.
Check if camera position corresponds to (tx, ty, tz) defined in step 2. Check if all the optical rays
cross at the focal point? Check if 2D points lie on the optical rays defined by the 3D points?

由于练习来自于原来上课的练习，所以有些符号，例如au,av之类是跟据当时课件定义的。如果有些童鞋对这些符号不清楚，可以参考附件中的report。

camera calibration report：实在找不到当时写的完整的report了，只找到了这个draft。将就用一下吧，的确是有问题的，比如step11就完全没有写，而且连图都没有，囧！不过后面我会上传全部的matlab code，不清楚话可以看code。希望之后的一些练习能找到完整的report。

MATLAB CODE:

matlab code for camera calibration

尝试上传.m格式和.rar格式的文件不成功，只好把code粘到了pdf里，大家用的时候小心换行造成的错误。。。有谁知道该怎么解决这种上传的问题啊？

在Ted上看到的，是2007年的视频，有点旧了，但仍然值得一看。

原始链接。

在此之后the Orb进一步发展，有了下面这个Orb V2

This second iteration of the spherical surface display ORB debuted in April 2008 at the Coachella Valley Music and Arts Festival in Indio, CA. It features 216 lines of resolution on an 18″ (45cm) diameter sphere. Thanks to improved control, color depth is continually being advanced and currently stands at 343 colors. SD cards are used for storage, so as much as several hours of video can be programmed onto the piece, making it an ongoing experiment in terms of content.

orb v2

点击这里看更多v2的信息。

啥也不说了，直接猛击进去看视频吧。眼泪哗哗的。一定要看啊。

http://gl.ict.usc.edu/Research/3DDisplay/

The system works by projecting high-speed video onto a rapidly spinning mirror. As the mirror turns, it reflects a different and accurate image to each potential viewer. Our rendering algorithm can recreate both virtual and real scenes with correct occlusion, horizontal and vertical perspective, and shading.

此技术来自USC ICT，获得了siggraph2007 “Best Emerging Technology”。

作者之一是 Paul Debevec，siggraph97低动态图像（LDR）创建高动态图像（HDR）的发明人。