先解读SORT算法：Simple online and realtime tracking 论文地址 https://arxiv.org/abs/1602.00763 代码地址 https://github.com/abewley/sort https://github.com/YunYang1994/openwork/tree/master/sort
下面流程图以车辆跟踪为例子
SORT核心是卡尔曼滤波和匈牙利算法。 流程图如下所示，可以看到整体可以拆分为两个部分，分别是匈牙利匹配过程和卡尔曼预测加更新过程。 关键步骤： 1–> 卡尔曼滤波预测predict出预测框 2–> 使用匈牙利算法将卡尔曼滤波的预测框和yolo的检测框进行IOU匹配来计算相似度 3–> 卡尔曼滤波使用yolo的检测框更新update卡尔曼滤波的预测框 注意区分一下上面提到的预测框和检测框，预测框是来自Kalman FIlter跟踪器tracker，检测框来自深度学习算法，不要混淆两者。 其中步骤2具体地描述如下： SORT引入了线性运动模型和卡尔曼滤波来进行位置预测，先进行位置预测然后再进行匹配。运动模型的结果可以用来预测物体的位置。 对于目标检测框和追踪器预测框之间，会生成一个iou_matrix，成为增益矩阵，而 负的iou_matrix可以用作代价矩阵cost matrix，我们的目的是求cost matrix最小和，在最小和情况下得到的index就是检测值和预测值之间的 粗匹配结果。这个粗匹配结果还要经过一次iou threshold，过滤掉iou小于0.3的匹配pair，得到最终匹配结果。求最小和的方法用的就是匈牙利算法。scipy库的linear_sum_assignment实现了匈牙利算法，只需要输入cost_matrix代价矩阵(全部预测框和全部检测框两两IOU计算结果)。
流程图详解:
1.跟踪器链(列表)： 实际就是多个的卡尔曼滤波KalmanBoxTracker自定义类的实例对象<跟踪器>, 组成的列表。 每个目标检测框都有对应的一个卡尔曼滤波器(KalmanBoxTracker实例对象)， KalmanBoxTracker类中的实例属性专门负责记录其对应的一个目标框中各种统计参数， 并且使用类属性负责记录卡尔曼滤波器的创建个数，增加一个目标框就增加一个卡尔曼滤波器(KalmanBoxTracker实例对象)。 把每个卡尔曼滤波器(KalmanBoxTracker实例对象)都存储到跟踪器链(列表)中。
2.unmatched_detections(列表)： 检测框中出现新目标，但此时预测框(跟踪框)中不存在该目标， 那么就需要在创建新目标对应的预测框/跟踪框(KalmanBoxTracker类的实例对象)， 然后把新目标对应的KalmanBoxTracker类的实例对象放到跟踪器链(列表)中。
3.unmatched_trackers(列表)： 当跟踪目标失败或目标离开了画面时，也即目标从检测框中消失了，就应把目标对应的跟踪框(预测框)从跟踪器链中删除。 unmatched_trackers列表中保存的正是跟踪失败即离开画面的目标，但该目标对应的预测框/跟踪框此时仍然存在于跟踪器链(列表)中，因此就需要把该目标对应的预测框/跟踪框(KalmanBoxTracker类的实例对象)从跟踪器链(列表)中删除出去。
卡尔曼滤波器跟踪部分的逻辑和实现
1. 根据上一帧的目标框结果来预测当前帧的目标框状态，预测边界框(目标框)的模型定义为一个等速运动/匀速运动模型。
2. 每个目标框都有对应的一个卡尔曼滤波器(KalmanBoxTracker实例对象)，
KalmanBoxTracker类中的实例属性专门负责记录其对应的一个目标框中各种统计参数，
并且使用类属性负责记录卡尔曼滤波器的创建个数，增加一个目标框就增加一个卡尔曼 滤波器(KalmanBoxTracker实例对象)。
3. yoloV3、卡尔曼滤波器预测/更新流程步骤
3.1. 第一步：
yoloV3目标检测阶段：
--> 1.检测到目标则创建检测目标链/跟踪目标链，反之检测不到目标则重新循环目标检测。
--> 2.检测目标链/跟踪目标链不为空则进入卡尔曼滤波器predict预测阶段，反之为空则重新循环目标检测。
3.2.第二步：
卡尔曼滤波器predict预测阶段：
如果连续多次预测而不进行一次更新操作，那么代表了每次预测之后所进行的“预测目标和检测目标之间的”相似度匹配都不成功，导致不会进入一次更新阶段。
如果一次预测然后相似度匹配成功的话，那么然后就会进入更新阶段。
--> 3.2.1.目标位置预测
1.kf.predict()：目标位置预测
2.目标框预测总次数：age+=1。
3.if time_since_update > 0: #如果连续预测的次数>0
hit_streak = 0 # 连续更新次数归0
time_since_update += 1
1.每执行predict一次即进行time_since_update+=1。
2.在连续预测(连续执行predict)的过程中，一旦执行update的话，time_since_update就会被重置为0。
3.在连续预测(连续执行predict)的过程中，只要连续预测的次数time_since_update大于0的话，
就会把hit_streak(连续更新的次数)重置为0，表示连续预测的过程中没有出现过一次更新状态更新向量x(状态变量x)的操作，
即连续预测的过程中没有执行过一次update。也就是我们上面说的相似度匹配不成功。
--> 2.预测的目标和检测的目标之间的相似度匹配成功则进入update更新阶段，反之匹配失败则删除跟踪目标。
3.3第三步：
卡尔曼滤波器update更新阶段：
如果一次预测然后“预测目标和检测目标之间的”相似度匹配成功的话，那么然后就会进入更新阶段。
kf.update([x,y,s,r])：使用的是通过yoloV3得到的“并且和预测框相匹配的”检测框来更新预测框。
--> 1.目标位置信息更新到检测目标链/跟踪目标链
1.目标框更新总次数：hits+=1。
2.history = []
time_since_update = 0
hit_streak += 1
1.history列表保存的是单个目标框连续预测的多个结果([x,y,s,r]转换后的[x1,y1,x2,y2])，一旦执行update就会清空history列表。
2.连续更新的次数，每执行update一次即进行hit_streak+=1。
3.在连续预测(连续执行predict)的过程中，一旦执行update的话，time_since_update就会被重置为0。
4.在连续更新(连续执行update)的过程中，一旦开始连续执行predict两次或以上的情况下，
当连续第一次执行predict时，因为time_since_update仍然为0，并不会把hit_streak重置为0，
然后才会进行time_since_update+=1；
当连续第二次执行predict时，因为time_since_update已经为1，那么便会把hit_streak重置为0，
然后继续进行time_since_update+=1。
--> 2.目标位置修正。
1.kf.update([x,y,s,r])：
使用观测到的目标框bbox更新状态变量x(状态更新向量x)。
使用的是通过yoloV3得到的“和预测框相匹配的”检测框来更新卡尔曼滤波器得到的预测框。
1.初始化、预测、更新
1.__init__(bbox)：
初始化卡尔曼滤波器的状态更新向量x(状态变量x)、观测输入[u,v,s,r](通过[x1,y1,x2,y2]转化而来)，u，v是目标框中心点的坐标，s是目标框的面积，r是目标框宽高比例 w/h、
初始化状态转移矩阵F、量测矩阵H(观测矩阵H)、测量噪声的协方差矩阵R、先验估计的协方差矩阵P、过程激励噪声的协方差矩阵Q。
2.update(bbox)：根据观测输入来对状态更新向量x(状态变量x)进行更新
3.predict()：根据状态更新向量x(状态变量x)更新的结果来预测目标的边界框
2.状态变量、状态转移矩阵F、量测矩阵H(观测矩阵H)、测量噪声的协方差矩阵R、先验估计的协方差矩阵P、过程激励噪声的协方差矩阵Q
1.状态更新向量x(状态变量x)
状态更新向量x(状态变量x)的设定是一个7维向量：x=[u,v,s,r,u^,v^,s^]T。
u、v分别表示目标框的中心点位置的x、y坐标，s表示目标框的面积，r表示目标框的纵横比/宽高比。
u^、v^、s^分别表示横向u(x方向)、纵向v(y方向)、面积s的运动变化速率。
u、v、s、r初始化：根据第一帧的观测结果进行初始化。
u^、v^、s^初始化：当第一帧开始的时候初始化为0，到后面帧时会根据预测的结果来进行变化。
2.状态转移矩阵F
定义的是一个7*7的方阵(其对角线上的值都是1)
运动形式和转换矩阵的确定都是基于匀速运动模型，状态转移矩阵F根据运动学公式确定，跟踪的目标假设为一个匀速运动的目标。
通过7*7的状态转移矩阵F 乘以 7*1的状态更新向量x(状态变量x)即可得到一个更新后的7*1的状态更新向量x，
其中更新后的u、v、s即为当前帧结果。
3.量测矩阵H(观测矩阵H)
量测矩阵H(观测矩阵H)，定义的是一个4*7的矩阵。
通过4*7的量测矩阵H(观测矩阵H) 乘以 7*1的状态更新向量x(状态变量x) 即可得到一个 4*1的[u,v,s,r]的估计值。
4.测量噪声的协方差矩阵R、先验估计的协方差矩阵P、过程激励噪声的协方差矩阵Q
1.测量噪声的协方差矩阵R：diag([1,1,10,10]T)
2.先验估计的协方差矩阵P：diag([10,10,10,10,1e4,1e4,1e4]T)。1e4：1x10的4次方。
3.过程激励噪声的协方差矩阵Q：diag([1,1,1,1,0.01,0.01,1e-4]T)。1e-4：1x10的-4次方。
4.diag表示对角矩阵，写作为diag(a1，a2,...,an)的对角矩阵实际表示为主对角线上的值依次为a1，a2,...,an，
而主对角线之外的元素皆为0的矩阵。
对角矩阵可以认为是矩阵中最简单的一种，值得一提的是：对角线上的元素可以为 0 或其他值，对角线上元素相等的对角矩阵称为数量矩阵；
对角线上元素全为1的对角矩阵称为单位矩阵。对角矩阵的运算包括和、差运算、数乘运算、同阶对角阵的乘积运算，且结果仍为对角阵。
SORT代码实现
精彩链接
您阅读本篇文章共花了：
发表评论