简介

在目标检测任务中，mAP（mean Average Precision，平均精度均值）是一个非常重要的评价指标，用于衡量模型在多个类别上的平均性能。它综合考虑了模型在不同召回率下的精确率，能够全面反映模型在检测任务中的表现。 作用： 综合性评估：mAP能够综合考虑模型在不同召回率下的精确率，避免了单一指标（如准确率或召回率）可能带来的片面性。 多类别比较：对于多类别的目标检测任务，mAP可以计算每个类别的AP，然后取平均值得到全局的mAP，从而方便比较模型在不同类别上的性能。 模型选择和调优：通过比较不同模型或不同参数设置下的mAP值，可以选择性能更优的模型或确定最佳的参数配置。 计算方法： 计算每个类别的AP： 对于每个类别，首先根据模型输出的预测框和真实的标注框计算交并比（IOU）。 根据设定的IOU阈值（通常为0.5），将预测框分为真正例（TP）、假正例（FP）和假反例（FN）。 对于每个预测框，根据当前的TP和FP数量计算精确率（Precision）和召回率（Recall）。 绘制该类别的PR曲线，即Precision随Recall变化的曲线。 计算PR曲线下方的面积，得到该类别的AP值。这通常可以通过插值法实现，如11点插值法，即在Recall坐标轴上选择11个点（如0, 0.1, 0.2, …, 1），然后计算这些点对应的Precision的平均值作为AP的近似值。 计算全局的mAP： 对于所有类别，分别计算得到各自的AP值。 将所有类别的AP值取平均值，得到全局的mAP值。 需要注意的是，mAP的计算过程可能因使用的数据集和评估标准而有所不同。例如，COCO数据集和PASCAL VOC数据集在计算mAP时可能采用不同的IOU阈值或插值方法。因此，在实际应用中，需要根据具体的数据集和评估要求来确定mAP的计算方法。

实现过程

假定我的输入为3D的目标检测的pred_boxes和gt_boxes

image_idx cls_id x y z l w h yaw score(for pred_boxes) pred_boxes = py.array([[0, 1, 13, 13, 0, 6, 6, 2, 0, 0.9], [0, 0, 35, 30, 0, 10, 8, 2, 0, 0.9], [1, 0, 12, 30, 0, 6, 9, 2, 0, 0.5]]) gt_boxes = py.array([[0, 1, 10, 10, 0, 6, 6, 2, 0], [0, 0, 30, 30, 0, 10, 8, 2, 0], [0, 0, 10, 30, 0, 6, 9, 2, 0]])

可视化一下image_idx=0的boxes: 在每个类别中提取每个样本的这个类别的pred_boxes和gt_boxes,并计算iou值,根据iou阈值划分tp(正确检测)和fp(误检).

over_laps = iou(pred_boxes=pred_boxes_cls_img[:, [2, 3, 5, 6]],

gt_boxes=gt_boxes_cls_img[:, [2, 3, 5, 6]])

corr_gts = np.argmax(over_laps, axis=1)

corr_iou = np.max(over_laps, axis=1)

visited_gt = []

for id, pred_box in enumerate(pred_boxes_cls_img):

if corr_iou[id] >= iou_threshold and corr_gts[id] not in visited_gt:

visited_gt.append(corr_gts[id]) # if pred got gt, the gt should be ignore

fp_or_tp.append(1)

else:

fp_or_tp.append(0)

统计所有样本的pred_boxes的tp/fp类型及其score,安照score降序排序.

scores = pred_boxes_cls[:, -1]

index = np.argsort(-scores, )

# sort fp_or_tp by decending order of scores

fp_or_tp = fp_or_tp[index]

根据score列表依次选择有效的pred_boxes,计算precision=tp/(tp+fp)和recall=tp/gt_boxes.size(). precision和recall列表形成pr曲线,计算pr曲线面积即可.

# 根据>=score的是有效pred,有效pred中,0是f,1是检测到了目标, 1的数量除以总的有效pred就precious

# 1的数量除以真值数量就是recall

tp_num_list = np.cumsum(fp_or_tp)

pred_num_list = np.cumsum(np.ones_like(fp_or_tp))

precision_array = tp_num_list / pred_num_list

recall_array = tp_num_list / tp_and_tn

ap = compute_ap(recall_array, precision_array, class_name)

注意求pr曲线面积时,横坐标(长)要是recall,而不能是用score求平均precision.

思考下: pr曲线会不会出现左低右高的情况?是有的,当fp的score较高时候就会出现这个问题.比如score最高的第一个就是fp.那么这时recall很小时,precision为0. 解决方法:recall_list和precision_list的首尾补上(0,1)或者(1,0),然后单调性处理

再分析下:score降序,recall肯定是递增的,但是precision不一定是递减,因此需要使得它单调,具体操作:

for i in range(len(precision_array)-1, 0,-1):

precision_array[i-1] = np.max(precision_array[i-1], precision_array[i])

参考:b站视频

好文链接

评论可见，请评论后查看内容，谢谢！！！
 您阅读本篇文章共花了：