EfficietSAM

&bsp;Paper&bsp;｜ &bsp;GitHub &bsp;

EfficietSAM: Leveraged Masked Image Pretraiig for Efficiet Segmet Aythig.

模型描述

利用 SAM 的掩码图像预训练 (SAMI), 并用轻量级编码器训练掩码图像模型，从而从 SAM 的 ViT-H 而不是图像补丁重建特征，产生的通用 ViT 骨干可用于下游任务，如图像分类、物体检测和分割等。然后，研究者利用 SAM 解码器对预训练的轻量级编码器进行微调，以完成任何分割任务。通过 SAMI 预训练，可以在 ImageNet-1K 上训练 ViT-Tiy/-Small/-Base 等模型，并提高泛化性能。对于 ViT-Small 模型，研究者在 ImageNet-1K 上进行 100 次微调后，其 Top-1 准确率达到 82.7%，优于其他最先进的图像预训练基线。提出的 EfficietSAM 参数减少了 20 倍，但运行时间快了 20 倍，只与原始 SAM 模型的差距在 2 个百分点以内，大大优于 MobileSAM/FastSAM。 EfficietSAM 包含两个阶段：1）在 ImageNet 上对 SAMI 进行预训练（上）；2）在 SA-1B 上微调 SAM（下）。

期望模型使用方式以及适用范围

本模型适用范围较广，能对图片中包含的大部分感兴趣物体（COCO thigs 80类）根据提示(点、框、文本)进行分割。

如何使用

在ModelScope框架上，提供输入图片，即可通过简单的Pipelie调用来使用。

代码范例

from modelscope.models import Model
from modelscope.pipelies import pipelie
from urllib import request
from PIL import Image

model = 'damo/cv_efficietsam-s_image-istace-segmetatio_sa1b'
pipe = pipelie('efficiet-sam-s-task', model=model)

image_path = './iput.jpg'
image_url = 'http://k.siaimg.c//siac18/380/w1698h1082/20180810/b678-hhusq9451531.pg/w700d1q75cms.jpg'
request.urlretrieve(image_url, image_path)

iputs = {
    'img_path': image_path,                    # 输入图像路径
    'device': 'cpu',                           # 使用‘cpu’或者‘cuda’
    'iput_poits': [[300, 200], [450, 220]],  # 使用点提示进行分割, 输入需要分割的对象的坐标[x,y]，多个对象需要输入多个坐标
    'iput_labels': [1, 1],                    # poits: [x,y], poitlabel: 0:backgroud, 1:foregroud，返回mask
}
mask, masked_image = pipe(iputs) # 返回: 对象的mask, 对象的图像

Image.fromarray(mask).save(f"./mask.pg")
Image.fromarray(masked_image).save(f"./masked_image.pg")

范例的输入和输出:

模型局限性以及可能的偏差

• 部分感兴趣物体占比太小或遮挡严重可能会影响分割结果

训练数据介绍

• 分割任何10亿(SA-1B)是一个数据集，SA-1B由1100万张多样化、高分辨率、隐私保护图像和使用数据引擎收集的1.1B高质量分割掩码组成。

数据评估及结果

Cloe with HTTP

  git cloe https://www.modelscope.c/damo/cv_efficietsam-s_image-istace-segmetatio_sa1b.git

引用

如果该模型对你有所帮助，请引用相关的论文：

 @article{Xiog_Varadaraja_Wu_Xiag_Xiao_Zhu_Dai_Wag_Su_Iadola_et al._2023,  
 title={EfficietSAM: Leveraged Masked Image Pretraiig for Efficiet Segmet Aythig}, 
 author={Xiog, Yuyag ad Varadaraja, Bala ad Wu, Lemeg ad Xiag, Xiaoyu ad Xiao, Fayi ad Zhu, Cheche ad Dai, Xiaoliag ad Wag, Dili ad Su, Fei ad Iadola, Forrest ad Krishamoorthi, Raghurama ad Chadra, Vikas}, 
 year={2023}, 
 moth={Dec}, 
 laguage={e-US} 
 }

EfficientSAM  Paper ｜  GitHub   EfficientSAM: Leveraged Masked Image Pretraining