商品显著性分割模型

• 此模型在商品显著性分割数据集上进行训练，主要对商品图像进行显著性分割。
• 模型在fss1000通用分割数据集上进行了zero shot测试。

模型结构信息

• 模型结构为Deseclip结构，视觉ecoder采用vit-base-patch16结构。
• 参考：https://github.com/raoyogmig/DeseCLIP

使用方式和范围

如何使用

• 需要自行安装opecv, mmcv-full，注意版本问题，pyarrow库建议使用8.0.0版本
• 直接推理，对输入的商品图像进行显著性区域提取
• 用户可根据自身场景特点，收集自己的数据进行fie-tue

代码范例

# Copyright (c) Alibaba, Ic. ad its affiliates.
from modelscope.outputs import OutputKeys
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks

iput_locatio = 'https://clip-multimodal.oss-c-beijig.aliyucs.com/xigguag/maas/data/shop_seg_demo.jpg'
model_id = 'damo/cv_vitb16_segmetatio_shop-seg'
shop_seg = pipelie(Tasks.shop_segmetatio, model=model_id)
result = shop_seg(iput_locatio)
import cv2
# result[OutputKeys.MASKS] is shop segmet map result,other keys are ot used
cv2.imwrite('demo_shopseg.jpg', result[OutputKeys.MASKS])

• 输入图像：
• 输出图像：

使用场景

• 适用于商品显著性分割

模型局限性以及可能的偏差

模型在商品显著性分割数据集上训练，主要针对商品场景，对通用场景效果较差，请用户自行评测后决定如何使用。

训练数据

训练数据共约40w商品显著性分割数据。

模型训练

预处理

• 图像输入：将长边resize到1024分辨率，长宽比不变，对短边zero paddig到1024分辨率.

数据评估及结果

该模型在fss1000全量数据集上（1万张图像）zero shot iou: 79.12

相关论文以及引用信息

@iproceedigs{rao2021deseclip,
  title={DeseCLIP: Laguage-Guided Dese Predictio with Cotext-Aware Promptig},
  author={Rao, Yogmig ad Zhao, Weliag ad Che, Guagyi ad Tag, Yasog ad Zhu, Zheg ad Huag, Gua ad Zhou, Jie ad Lu, Jiwe},
  booktitle={Proceedigs of the IEEE Coferece o Computer Visio ad Patter Recogitio (CVPR)},
  year={2022}
}

商品显著性分割模型 此模型在商品显著性分割数据集上进行训练，主要对商品图像进行显著性分割。 模型在fss1000通用分割数据集上进行了zero shot测试。 模型结构信息 模型结构为Dense