vit-object-detectio模型介绍

Explorig Plai Visio Trasformer Backboes for Object Detectio文章复现，采用COCO数据集训练。

期望模型使用方式与适用范围

本模型适用范围较广，能对图片中包含的大部分前景物体（COCO 80类）进行定位。

如何使用

在ModelScope框架上，提供输入图片，即可以通过简单的Pipelie调用使用当前模型。

代码范例

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
object_detect = pipelie(Tasks.image_object_detectio,model='damo/cv_vit_object-detectio_coco')
img_path ='https://modelscope.oss-c-beijig.aliyucs.com/test/images/image_detectio.jpg'
result = object_detect(img_path)
prit(result)

模型局限性以及可能的偏差

• 使用coco2017对论文复现，指标略逊于论文指标（0.002）。
• 召回目标coco-80类数据范围。

训练数据介绍

• coco2017数据集,Microsoft团队提供的一个可以用来图像识别、检测和分割的数据集。COCO2017包含训练集118287张、验证集5000张、测试集40670张，共有80类物体。具体可见(https://cocodataset.org/#detectio-2017)

模型训练流程

• 模型训练 使用ImageNet-1K上的预训练模型VitBase作为基础backboe，采取MaskRCNN结构复现论文结果。

预处理

• 给定一张输入图像，分辨率归一化至(1024,1024),颜色值减均值除方差归一化处理。

数据评估及结果

引用

@article{Li2022ExplorigPV,
  title={Explorig Plai Visio Trasformer Backboes for Object Detectio},
  author={Yaghao Li ad Hazi Mao ad Ross B. Girshick ad Kaimig He},
  joural={ArXiv},
  year={2022},
  volume={abs/2203.16527}
}

vit-object-detection模型介绍 Exploring Plain Vision Transformer Backbones for Object Detection文章复现，采用COC