增强视觉 | 计算机视觉 增强现实

来自老杨的一篇评测。

好久没更新博客了，最近都在忙找工作，目前来看形势还不错。感觉我基本已经跟computer vision没什么关系了，面了很多公司，只有一个是视觉的，其它都是纯码农活儿了。

这学期上了个计算机架构的水课，最后的大作业我就benchmark了一下OpenCV在x86和ARM下面的性能，我的笔记本的CPU是Intel Core i7 620M，iOS测试我用的是iPod Touch，和iPhone 4是一样的CPU, Apple A4。最新的iPhone 4s和iPad2上的Apple A5没机会测，因为这俩都不能完全越狱。x86比ARM快那是肯定的，不过这个benchmark可以看出来到底差多少。

编译：在x86上我用的是64位编译的，因为Apple A4分别支持ARM v6和v7两个版本，我就分别都编译了不同的静态库。

测试：我使用了不同的数据类型，8/16/32位整形，32/64位浮点；不同的输入矩阵大小，4*4/8*8/…/256*256/512*512；不同的操作，加、乘、转置、求逆、SVD，还有一组图像处理的比较。

下面是一些比较结果：

阅读全文…

一个非常棒的各种descriptor的评测。全文转载如下：（美中不足的没有特征匹配的评测）

(一句话总结，综合考虑速度和性能，ORB是最好的。）

Introduction

For this test i have written special test framework, which allows me to easily add the new kind of descriptors and test cases and generate report data in CSV-like format. Than i upload it in Google docs and create this awesome charts. Five quality and one performance test was done for each kind of descriptor.

Test cases

• Rotation test -  this test shows how the feature descriptor depends on feature orientation.
• Scaling test -  this test shows how the feature descriptor depends on feature size.
• Blur test -  this test shows how the feature descriptor is robust against blur.
• Lighting test -  this test shows how the feature descriptor is robust against lighting.
• Pattern detection test – this test performs detection of planar object (image) on the real video. In contrast to the synthetic tests, this test gives a real picture of the overall stability of the particular descriptor.
• Performance test is a measurement of description extraction time.

阅读全文…

玩了一下OpenCV2.3的python接口。有如下几个注意事项：

1：OpenCV2.3RC使用VS2005编译会提示确实DirectShow，所以最好还是升级到OpenCV2.3

2: 使用VisualStudio2008/2010的可以直接下载OpenCV2.3 Superpack，免去编译之累。

3：编译好python库之后将cv.pyd, cv2.pyd拷贝至python2.x的Lib/Sitepackage目录下。

4：cv2中的函数使用的numpy.ndarray来表示图像，所以要使用cv2.imread函数来装载图像，而不要使用cv模块中的loadImage或者loadImageM

以上事项都搞定的话，写个简单的小程序就木有问题了。下面用新的cv2模块将以前贴过的提取surf特征的代码重写一遍：

阅读全文…

大家都知道苹果系统是一个很奇怪的系统。有最精美的UI，确实基于最古老的系统。有最好的编程软件，确有自己的编程语言。这里提供一个专门为iOS准备的opencv的sh。链接

不过大家也都知道跨平台是一件巨痛苦的事情，所以貌似要读以下的一个国外网站的教程（其实那个sh也是那个网站提供的）

• http://computer-vision-talks.com/2010/12/building-opencv-for-ios/
• http://computer-vision-talks.com/2011/01/using-opencv-in-objective-c-code/
• http://computer-vision-talks.com/2011/02/building-opencv-for-iphone-in-one-click/
• http://computer-vision-talks.com/2011/03/opencv-build-script-with-xcode-4-support-is-here/

今天刚发布的Release candidate，估计下周正式版本就要出来了。

大家到这里看看what’s new：新增加了一个stitching拼接模块，Android支持更加方便了，使用Google test框架，其他变化主要是内部性能改进。

Update 关于手持设备方面的:

首先，OpenCV 2.3的Android build终于变成了官方支持的NDK-Build的方式了。以前的方法相当让人头疼，使用的非Android官方的方法去写JNI接口，tutorial跟着走一遍也不知道所以然。

其次，What’s new里面说道，新的Android支持是NVidia在开发，让然浮想连篇啊！本来OpenCV就是支持CUDA显卡加速的，那请细读下面的报道：http://computervisioncentral.com/content/nvidia-releases-opencv-android-tegra-301677 Tegra 3 support，会不会有硬件加速？OpenCV在Apple A4 这个级别的ARM处理器的性能要比桌面x86处理器慢~20倍，GPU加速让人期待。

最后小八卦，文中提到的Kari Pulli原来在Nokia，他和Stanford合作的FCam API是基于跑在Nokia N900/800 Maemo Linux上的Computational Photograph的API。现在转投NVidia门下把FCam带入到Tegra？有意思，看来NVidia很看中未来手持设备的Visual computing的能力，到处发力找突破。

–幻肢老杨

这个页面力图搜集各种跟CV，AR相关的代码，如无特别声明，均是c/c++代码。还是一贯的标准，不求全面，只求质量。

如有特别推荐的代码，请在本页留言，或者email我：cvchina AT gmail.com

通用库/General Library

• OpenCV

无需多言。

• RAVL

Recognition And Vision Library. 线程安全。强大的IO机制。包含AAM。

• CImg

很酷的一个图像处理包。整个库只有一个头文件。包含一个基于PDE的光流算法。

图像，视频IO/Image, Video IO

• FreeImage
• DevIL
• ImageMagick
• FFMPEG
• VideoInput
• portVideo

AR相关/Augmented Reality

• ARToolKit

基于Marker的AR库

• ARToolKitPlus

ARToolKit的增强版。实现了更好的姿态估计算法。

• PTAM

实时的跟踪、SLAM、AR库。无需Marker，模板，内置传感器等。

• BazAR

基于特征点检测和识别的AR库。

局部不变特征/Local Invariant Feature

• VLFeat

目前最好的Sift开源实现。同时包含了KD-tree，KD-Forest，BoW实现。

• Ferns

基于Naive Bayesian Bundle的特征点识别。高速，但占用内存高。

• SIFT By Rob Hess

基于OpenCV的Sift实现。

目标检测/Object Detection

• AdaBoost By JianXin.Wu

又一个AdaBoost实现。训练速度快。

• 行人检测 By JianXin.Wu

基于Centrist和Linear SVM的快速行人检测。

（近似）最近邻/ANN

• FLANN

目前最完整的（近似）最近邻开源库。不但实现了一系列查找算法，还包含了一种自动选取最快算法的机制。

• ANN

另外一个近似最近邻库。

SLAM & SFM

• SceneLib [LGPL]

monoSLAM库。由Androw Davison开发。

图像分割/Segmentation

• SLIC Super Pixel

使用Simple Linear Iterative Clustering产生指定数目，近似均匀分布的Super Pixel。

目标跟踪/Tracking

• TLD

基于Online Random Forest的目标跟踪算法。

• KLT

Kanade-Lucas-Tracker

• Online boosting trackers

Online Boosting Trackers

直线检测/Line Detection

• DSCC

基于联通域连接的直线检测算法。

• LSD [GPL]

基于梯度的，局部直线段检测算子。

指纹/Finger Print

• pHash [GPL]

基于感知的多媒体文件Hash算法。（提取，对比图像、视频、音频的指纹）

图像检索/Image Retrieval

• libpmk

Pyramid Matching Algorithm实现。

• vocsearch

一个简单的的Vocabulary Tree实现。

视觉显著性/Visual Salience

• Global Contrast Based Salient Region Detection

Ming-Ming Cheng的视觉显著性算法。

FFT/DWT

• FFTW [GPL]

最快，最好的开源FFT。

• FFTReal [WTFPL]

轻量级的FFT实现。许可证是亮点。

音频处理/Audio processing

• STK [Free]

音频处理，音频合成。

• libsndfile [LGPL]

音频文件IO。

• libsamplerate [GPL ]

音频重采样。

恭喜老杨高中gsoc opencv for ios/iphone/ipad

以下为CtrlCV。。。

Google Summer of Code 2011今天出结果了，有1100多人获得由Google的赞助参与到各种开源项目的开发中去。大体上是这样的：开源项目方给出感兴趣的课题，参与者获得锻炼机会并且有一定的经济补助，Google大款散点小钱落得个支持开源社区的好名声，这是个三赢局面。当然也不是随便什么项目就可以打着GSOC的名号来骗苦力的，Google批准了175个项目。我觉得这些项目必然有值得支持的理由，于是从头到尾扫了一遍，其中很多有名的开源项目，像GCC, GNU, FreeBSD, GNOME, KDE, Mozilla。下图是所有项目的关键词的用wordle在线服务生成的标签云，可以快速预览一下众开源项目的口味。

我挑几个我个人感兴趣的说说：

阅读全文…

疯子007童鞋翻译了opencv 2.2的官方网站，在还没有得到允许的情况下我就转载了过来，让我们掌声感谢疯子007童鞋

阅读全文…

OpenCV作为我们长期使用的某种既爱又恨的某种软件

Nvidia作为我们长期使用用来看电视、看电影、看很多奇怪东西的解码芯片的集合板。

他们居然要合体融合了，NVIDIA的CUDA给我们的印象一直是飞一般的感觉，据称就要被原生的OpenCV支持了。

据GTC 2010 GPU上面称，2011年春OpenCV就要出一个CUDA支持版本，这个会让很多计算机视觉的算法速度有非常大的速度提升。

ps：用原ATI，现AMD显卡的用户泪奔飘过，希望童鞋们努力

关于opencv你还在期待什么呢？更好更快更自由的局部特征？更好的立体视觉支持？AR？我有一大坨期望，可惜williow还是不够给力啊。

最近发现了两个第三方的对opencv的扩展。

阅读全文…