推荐一本凸优化的经典教材(可能很多人已经看过这本书,或至少知道)。
凸优化在视觉和机器学习上有很多应用。一个典型的例子是support vector machine。而且在平时的学习科研中,会经常碰到凸函数的概念。我这里推荐一本介绍凸优化的经典好书:convex optimization,by Stephen boyed,斯坦福ee教授。在他们主页上(http://www.stanford.edu/class/ee364a/)可以找到教学视频,ppt,电子版的书,以及习题和答案,可以说一应俱全。Stephen开了两门关于convex optimization的课(ee364a和ee364b)。其中ee364a讲的都是书里的内容,是基础,ee364b是讲一些最近几年的比较新的关于凸优化的科研结果。这本书是适合工程类的学生学习,没有太多公式,但是概念讲的很清楚,也有很多例子。而且他们开发了一个叫CVX的解决凸优化问题的软件包,非常好用。

上周happyharry写了一篇关于稀疏表达的文章。简答地说就是几个数学大牛证明了在满足某些条件下,L0(非凸)的结果等价于L1(凸)。所以最后就是解一个凸函数。关于稀疏矩阵,在ee364b中也有具体讲到。
凸函数在立体视觉上也有很大的应用。瑞典Lund大学的Fredrik (http://www.maths.lth.se/matematiklth/personal/fredrik/)最近几年发表了不少用凸函数解决立体视觉问题的文章(很多顶级期刊和顶级会议的文章,可能有些有点逛水)。
分类: 新闻, 资源 标签: book, convex optimization, L0 minimization, stanford, stephen boyed, svm, 凸优化, 凸函数, 斯坦福, 稀疏表达, 立体视觉
一直忽悠cvchina,心有歉意。第一次发文,简单写点online learning的东西。
传统的SVM和adaboost都是batch mode learning. 所谓的batch mode learning, 简单说,就是所有的训练数据都是available的(或则说所有训练数据都已经在内存中)。这种方法主要有2个缺点:
1) 有时候数据量太大,在内存中放不下,处理起来不方便
2) 由于应用环境限制,有时候无法在训练之前得到所有训练数据
而Online learning, 他的数据是come in sequence,也就是说traning sample 是一个一个来,或则是几个几个来,然后classifer 根据新来的samples进行更新。Online learning是比较困难的,主要原因是你无法知道将来的训练数据是如何的。显然adaboost和svm是行不通的。最近几年也有一些人做online learning的研究,主要方法还是集中在online boosting这一块。推荐2篇不错的文章:
1) online adaboost [1], 并把他用在object tracking等方面。这篇文章发表于CVPR2006引用率蛮高。这几年的cvpr上的几篇做tracking的文章以这个idea为基础。tracking的方法是用最近比较流行的tracking-by-detection的方法。简答的说就是在tracking的时候,observation model这一块是用一个在线训练的分类器。tracking的过程如下图所示(图中还有一步是用跟踪的结果作为训练器的新的输入):

这篇文章online 训练的时候,用tracking 的结果作为online classifier的positive samples。显然这种数据是有噪声的,最后tracking会drift掉。而且需要指出的是,这种方法没有严格证明,只是模仿batch mode adaboost. 我把这个算法用在uci的训练数据上,效果不是很好。作者的主页是:http://www.vision.ee.ethz.ch/~hegrabne/. 这个是他用online learning 做tracking的项目主页:http://www.vision.ee.ethz.ch/boostingTrackers/。 有现成代码和demo。
2) 去年的一篇论文是关于online random forest[2]。网上有现成的代码。我跑了一下,挺牛逼的,效果没比offline mode差不多。如果你需要做online learning的话十分推荐。
[1].On-line Boosting and Vision. 06CVPR.
[2]. Online random forest. 09ICCV workshop on online machine learning.
PS:code的原始链接失效了,我传了一份到everbox。下载链接
如果不能下载,请通过该链接注册后下载。
最新评论