目标姿势估计与预测
预测一组语义关键点，例如人类身体关节或鸟类部位，是图像理解领域中重要的一项技术 。物体的关键点助于对齐对象并揭示它们之间的细微差别，同时也是计算机领会人类姿态的一项关键技术。尽管这项技术近年来取得了重大进展，但由于物体外观差异大，姿势变化和遮挡等情况，关键点预测仍然是一项重大挑战。
目前基于CNN的关键点定位方法使用置信度图监督关键点检测器, 但由于不同图片中关键点的检测难易程度不同，使用同等程度置信度图可能会不利于关键点检测器的学习。
为了解决关键点定位的鲁棒性问题，我们提出了一个粗细监督网络（CFN）深层卷积网络的方法。该方法使用全卷积网络，利用几个不同深度的分支来获得分层特征表示。并根据其感受野不同，使用粗细不同的监督信息。最后联合所有分层特征信息来实现目标关键点的精确定位。我们通过鸟类部位定位和人体姿态估计的不同任务实验证明了该方法的有效性和通用性。
要想成功的完成刚才说的这些perceiving的任务，我们都需要假设我们所获取到的图像都是高质量的。但是在实际问题中，我们获取到的图象有可能会受到一些影响，导致数据质量比较差。因此我们要解决图像质量评估，根据图像质量评估的结果，我们还要有有效的模型对图像的质量进行提升，比如denoise、deblur、去除介质湍流的影响、提升低分辨率图像的分辨率、去雾，等等。
最近很多人都有一种感觉：深度学习一统天下。要解决实际问题，就是想办法把不同的网络层堆积起来、把网络不断加深，然后调参就好了。事实上，没有这么简单。要有效的解决实际问题，不仅我们要理解深度学习、知道该如何有效的调参，还有熟悉传统的统计机器学习、经典的计算机视觉，更要对问题有深刻的理解，知道如何构建有效的学习模型，当然是深度的学习模型。
在learning这个方向上，我们也做了很多工作：快速矩阵分解、多视角学习、多任务学习、多标签学习、迁移学习、有标签噪声的学习、生成对抗网络、深度学习理论，等等。时间原因，我简单的介绍一下，我们最近在多视角学习、生成对抗网络和深度学习理论上的一些工作。
多视角学习：面向决策策略的“盲人摸象”
