增强视觉 | 计算机视觉 增强现实

神经影像(neuroimage)说句老实话我一直觉得这不能算是一个领域，为何这么说呢，因为这个领域所包含的方法论涉及各个大家熟知，或者是已经有很长时间的学科基础。为啥会用neuroimage来叫这个学科呢？我自己可能入世未深解释不明，只是比较关注于neuroimage这个期刊而已。简单的说也就是神经科学的方法论。当然也有人觉得这归于computational neuroscience……当然还有可能属于影像学…….
首先谈谈我对这个学科的一些理解吧，说句老实话，这个学科不热闹。一个不热闹的学科注定了其人才的有限性，如果具体化的说我现在身在对神经科学的方法论研究上，很多人都是来自理工科，math，phy，CS，EE比比皆是，这些人据我观察….基本上是因为做原来的学科做不下去了，至少没办法跻身于一流研究才考虑转到现在这个方向，他们带着原有的数学功底，建模功底，计算机功底，信号处理功底来这一个新的领域，并在这个领域里面作出一些相当不错的成绩。不过我也不能太吹毛求疵，可能这个领域还在一个发展阶段，这种外来人才的引入也是一个必然性把。可能就是因为这个问题，每次我看到那些所谓的方法论（一般都是用计算机算法）都是让人觉得寒酸至极，这种层度的算法充其量也就只能在CS里面发个主流国际会议（ICPR和ICIP之流）。但是往往在neuroimage期刊上出现（影响因子高过PAMI），不过不得不说的是，领域内的科学风气确实比CS高，大部分CS写论文的充其量只能算是engineer的水平，引用不清不楚，背景也介绍的不清不楚。不过neuroimage领域的introduction部分实在太长了，论文也普遍偏长，实在是搞不懂，明明就那么点事，不能简单点写，非得长篇大论搞那么多。搞得我每次看都是非常吐血，写了一堆子屁话让我不得要领其motivation到底是什么，还得慢慢酝酿。
其次我想从数据的类型来说说这个领域所分析的数据和我们一般意义上image的比较。首先我们在image的定义大家可能都只有像素的概念，也就是画多少个方格子（pixel），然后这些方格子里面放下一个scalar值，再把这些方格子在一个二维平面上按照指定的顺序排好就构成了我们心中的图像。这个过程非常类似于活字印刷，大家自己想象。大家应该注意到一个scalar是一个变量，但是如果我们要表现彩色图像的话就可能需要一个多维的向量空间比如RGB颜色空间来描述这一个pixel的值，不知道大家有没有想过一个pixel的物理意义是什么？之所以深究这个问题是为了想让大家知道，我们意义上的成像实际上只是一个物理意义的表现形式，但是可能大家都没有过度关注到这一点。我拿X像来做比较，X像上面的每一个pixel其实记录出来的是一个物理意义的量，这个量代表X放射线的接受量，但是我们把这一物理意义值以一种色彩的mapping方式表达到一个合适的色彩空间就是我们所谓真正意义上的成像。这就是医学图像与我们常规图像最不一致的地方，物理意义首先就不一样。比如说CT（computered tomography）和MRI（核磁共振）扫描我们组织会得到不一样的像？为什么？就是因为他的原理以及最后记录下来的这个scalar意义不一样，CT像对于脑灰质和白质几乎是不能予以区分的，但是MRI就不同，相对而言就容易得多。还有一个与CV最大的不同就是MRI和CT这一类东西都是三维的，由pixel是在一个picture里面的最小单元做一个对应，voxel是一个volume里面的最小单位，也就是认为是一个9格魔方的一个小格（是三维的概念，而不是二维的格）。以上就是我介绍的第一种数据类型，对于这些问题而言，我们会有一些问题需求。
比如说是：图像分割（segmentation），为什么需要呢？很简单，脑子里面有skull，CSF（脑脊液），grey matter（灰质）， white matter（白质），我们可能需要区分它们。把他们分别分开，便于数据分析。这个大家一看来就觉得狠simple，计算机视觉里面的segmentation不就解决了么？小case，事实上脑的分割仍然是个没有完全解决的问题，至少我们现在还在用所谓的概率分割，也就是说对于一个voxel我们并不能说是什么，只能说是什么的概率是多少，这也是所谓的软分割方法，你设个阈值强制性划分就成硬分割。这一块仍然还有人在做，但是已经不太热了……
另外就是，配准问题（registration），我就一句话来说明配准对于neuroscience领域的重要。没有配准就没有现在脑科学的发展，为什么呢？所谓的科学无非是在杂乱无章似乎毫无关系的现象事物之间找到所谓的共同点。因为有了配准不同的人脑之间才能通过配准才具有可比性，所以配准这个问题很早一起就开始起步了，从最早的affine变换配准到现在的用微分同胚，这个领域的配准问题比计算机视觉领域要复杂得多。为什么呢？因为我们的cost function不同，CV里面我们可以用一个简单的cost function来度量我们的配准做得是否足够，但是在脑配准里面能够在cost function玩出花来，我举个例子，我们用仿射变换做脑配准的话，往往cost function参数可以采用最简单的平方和就可以，如果我把这个function换成人脑沟回的配准的话，这个问题反正我是没看懂怎么做到的。人脑沟回的褶皱是完全不同的，人与人之间要做到配准反正我是想象不出来。请非数学大牛千万不要去碰脑配准，一般会郁闷的。
上面所说的volume概念只是一个静态的概念，核磁共振作为一个物理现象发现人已经拿到Nobel prize了，这个东西已经发明了好几十年了，但是在90年代基于MRI的一种生理现象被日本人ogawa（这位爷是Nobel prize的新热门）发现，这种信号叫做BOLD信号，原理到现在都没办法完全解释清楚。大家只需要记住可以用核磁技术可以记录脑内的血供信号。这种突然的血供信号和神经活动是有密切关系的。比如说你动左手或者是想象自己动了左手，你的感觉运动区（SMA）就会为你的这一决策忙活，忙活的结果就是会有活动啊，那么活动了之后就会消耗啊，对于脑而言，消耗就是从血液里面获取更多的氧气以及能量，同样的新陈代谢一样会比平时更高。而BOLD信号就是观测到了新陈代谢变化血液信息（这个地方可能会比较难理解，大家感兴趣可以继续问）。
通过上面的BOLD信号，我们可以观测人类在从事某些认知活动中的脑活动，从而分析人脑的一些活动特征。这意味着，我们有可能从此可以得到人脑在一个比较粗尺度上的计算模型。当然这个就是比较大的目标。然后我来告诉大家BOLD信号的数据是什么样的，基本上每2S能得到一个Volume每一个Volume就是当前所观测到的BOLD信号的值。如果我观察很多秒的话就能得到很多个volume，这就像CV里面的video一样，对于video来说一帧是一个单位，这是一个二维的平面，但是对于BOLD信号而言，volume是一次时间点的观测就像一帧一样，但是一个三维的体结构。这个volume里面记录了你脑中每一个voxel中的BOLD信号。
以上的数据叫做functional MRI，着是一种特别的成像，根据这些脑子里的‘video’，我们的应用可以有，疾病判别（主要是与ML和PR相关），brain computer interface(脑机接口)。我这么介绍起来是不是感觉和CV很像？一样都是image process+pattern recognition，只不过这个image process可能比较特殊一些。
tom mitchell 就是CMU的那位机器学习大牛，不知大家有没有印象，他已经带领他的团队靠向neuroscience这个方向了，现在已经有了一篇一作的science，大家应该知道所谓的计算机方向发science这么多年用手指头数也就那么几篇（顺便说一句ISOMAP的作者是搞计算神经科学的不算CS的人）。他的很多学生都做过脑机接口类似（事实上应该称作mind reading但是不知道怎么表达）的工作，用一个经典的论文题目就是Learning to Decode Cognitive States from Brain Images，听起来很玄乎是吧，大家可以去wiki上去搜搜BCI就知道现在BCI的发展确实很有趣。FeiFei li，各位CV的牛不用问也知道这个大名，你们可以去关注她到了Stanford后立马也是介入了这个领域，主要做的是场景的脑识别，貌似已经有一篇nature了，只不过不是一作而已。现在越来越多在EE领域的大牛可能开始关注computational neuroscience，这些牛们确实有得天独厚的优势，不过在neuroscience领域上也只是刚刚起步而已，但是相对于原领域更容易发高影响因子的期刊。neuroimage已经接近6了，neuron，PNAS等都是发的很正常的期刊，在10左右或更高。其次也是因为现在AI领域也陷入一个新的funding问题？！（这个只是据闻，不敢说），相对于做神经科学，NIH是非常有钱的单位啊，连国外的研究者也可以申，我旁边的一个老板就申到NIH的经费。所以未来将会有一些大牛投入neuroscience的怀抱应该是个必然的趋势。