今天，我讲介绍一下我们在perceiving（感知）、learning（学习）、reasoning（推理）和 behaving（行为）四个方面的进展。
感知任务基础：物体检测与目标跟踪
物体检测是perceiving中的一项基本任务。现有的两阶段目标检测器取得了非常好的效果。首先生成区域候选框，然后对这些候选框进行调整。调整过程会更新后续框的坐标并预测物体的类别。但是，不准确的候选框有可能会导致不正确的检测结果。
为了解决这个问题，我们提出了基于上下文的调整算法。具体的讲，我们发现对于一个检测框，它周围的检测框常常提供了对于要检测物体的补充性信息。
因此，我们尝试从周围检测框提取有用的上下文信息用来改进现有的调整算法。在我们提出的方法里，我们会基于一个加权过程来融合提取出来的上下文信息。最后，利用融合后的上下文信息以及相应的视觉特征，我们提出的基于上下文的候选框调整算法能实质性地改进现有的调整算法。
举个例子，如图所示，其中一个鹤的候选框都不是很理想：蓝色、..、红色三个框，每一个框都只包含了鹤的一部分信息。通过我们提出的基于上下文的候选框调整算法能有效的把包含鹤的不同的部分的候选框的信息整合起来，形成一个完整的候选框。
有了完整的候选框，可以有效的提升检测率。
目标跟踪是perceiving中的另一个非常基本的任务。单目标跟踪的困难来自于物体在运动过程中，形态由于geometry/photometry、camera viewpoint和illumination的变化、以及部分遮挡会发生强烈的变化。多目标跟踪更为困难，除了单目标跟踪遇到的困难，还需要区分物体的数量，以及不同的id。
因此在非受控的环境中做长序列的跟踪非常困难。由于深度学习在目标跟踪中的使用，目前tracker的性能已经得到了很大的提升。这主要是由于深度学习能够有效的给出被跟踪物体的本源表征，因此对于各种变化、遮挡都有很好的对抗能力。这个篮球球场中的多球员跟踪就是很好的例子。
感知任务进阶：解决单目深度估计的病态问题
