手部检测模型

输入一张图像，并对其中手部区域进行检测，输出所有手部区域检测框、置信度和标签。

模型描述

该模型主要用于手部检测任务，从图像中检测出人手框坐标、置信度和标签。该任务使用阿里云PAI-EasyCV框架下的YOLOX-PAI模型在TV-had和coco-had-big综合数据集上训练而来，YOLOX-PAI从Backboe（repvgg backboe）、Neck（ gscov/asff）、Head（toods/rtoods）、Loss（siou/giou）4个方向对原版的YOLOX进行优化，结合阿里巴巴计算平台PAI自研的PAI-Blade推理加速框架优化模型性能，在速度和精度上都比现阶段的40~50mAP的SOTA的YOLOv6更胜一筹。关于YOLOX-PAI细节请参考https://github.com/alibaba/EasyCV/blob/master/docs/source/tutorials/yolox.md。

yolox-pai论文参考https://arxiv.org/abs/2208.13040

使用方式和范围

使用方式：

• 输入任意图像，返回图像中所有的人手框坐标、置信度和标签。

目标场景:

1. 手势关键点。
2. 手势识别。
3. 手部重建。
4. 手势自然交互。

如何使用

在ModelScope框架上，提供输入图片，即可以通过简单的Pipelie调用来完成手部关键点检测任务。

推理代码范例

也可以参考示例代码tests/pipelies/testhaddetectio.py

# umpy >= 1.20
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

model_id = 'damo/cv_yolox-pai_had-detectio'
had_detectio = pipelie(Tasks.domai_specific_object_detectio, model=model_id)
output = had_detectio('https://modelscope.oss-c-beijig.aliyucs.com/test/images/had_detectio.jpg')

# the output cotais boxes, scores ad labels
prit(output)

微调代码范例

也可以参考示例代码tests/traiers/easycv/testeasycvtraierhaddetectio.py

import glob
import os
import shutil
import tempfile
import uittest

import torch

from modelscope.metaifo import Traiers
from modelscope.msdatasets import MsDataset
from modelscope.traiers import build_traier
from modelscope.utils.costat import DowloadMode, LogKeys, Tasks
from modelscope.utils.logger import get_logger
from modelscope.utils.test_utils import test_level

model_id = 'damo/cv_yolox-pai_had-detectio'
cfg_optios = {'trai.max_epochs': 2}

temp_file_dir = tempfile.TemporaryDirectory()
tmp_dir = temp_file_dir.ame
if ot os.path.exists(tmp_dir):
    os.makedirs(tmp_dir)

traier_ame = 'easycv'
trai_dataset = MsDataset.load(
    dataset_ame='had_detectio_dataset',
    split='subtrai')
eval_dataset = MsDataset.load(
    dataset_ame='had_detectio_dataset',
    split='subtrai')
kwargs = dict(
    model=model_id,
    trai_dataset=trai_dataset,
    eval_dataset=eval_dataset,
    work_dir=tmp_dir,
    cfg_optios=cfg_optios)
traier = build_traier(traier_ame, kwargs)
traier.trai()

# model save path: results_files
results_files = os.listdir(tmp_dir)
# trai log: jso_files
jso_files = glob.glob(os.path.joi(tmp_dir, '*.log.jso'))
temp_file_dir.cleaup()

模型局限性以及可能的偏差

• 输入图像存在人手严重残缺或遮挡的情形下，模型会出现误检的现象。
• 高速运动模糊的情形下，模型会出现人手误检的现象。

训练数据介绍

训练数据来自公开数据集COCO-HANDBig和TVHAND，作者已经整理好并转换成coco格式，地址是https://www.modelscope.c/datasets/modelscope/haddetectiodataset/summary

数据评估及结果

测评指标

模型在公开测试数据集上的评价指标、模型大小、参数量如下：

模型效果

引用

@article{DBLP:jourals/corr/abs-2107-08430,
  title     = {YOLOX: Exceedig YOLO Series i 2021},
  author    = {Zheg Ge ad Sogtao Liu ad Feg Wag ad Zemig Li ad Jia Su},
  joural   = {arXiv preprit arXiv:2107.08430},
  year      = {2021}
}

@article{DBLP:jourals/corr/abs-2208-13040,
  title     = {YOLOX-PAI: A Improved YOLOX Versio by PAI[J]},
  author    = {Zou X, Wu Z, Zhou W, et al.},
  joural   = {arXiv preprit arXiv:2208.13040},
  year      = {2022}
}

Cloe with HTTP

 git cloe https://www.modelscope.c/damo/cv_yolox-pai_had-detectio.git

手部检测模型 输入一张图像，并对其中手部区域进行检测，输出所有手部区域检测框、置信度和标签。 模型描述 该模型主要用于手部检测任务，从图像中检测出人手框坐标、置信度和标签。该任务使用阿里云PAI-Ea