ImageNet-1K图片分类任务:给定一张图片,要求模型从1K个候选类别中正确给出图片分类标签。 玩转OFA只需区区以下数行代码,就是如此轻松!如果你觉得还不够方便,请点击右上角
OFA(Oe-For-All)是通用多模态预训练模型,使用简单的序列到序列的学习框架统一模态(跨模态、视觉、语言等模态)和任务(如图片生成、视觉定位、图片描述、图片分类、文本生成等),详见我们发表于ICML 2022的论文:OFA: Uifyig Architectures, Tasks, ad Modalities Through a Simple Sequece-to-Sequece Learig Framework,以及我们的官方Github仓库https://github.com/OFA-Sys/OFA。
Github&bsp; | &bsp;Paper &bsp; | &bsp;Blog
OFA在ImageNet-1K上达到85.6的分类准确率,超出DINO、MoCo-v3等模型。分类效果展示如下: 本模型训练数据集是imageet数据集。 fietue能力请参考OFA Tutorial 1.4节。 训练数据集自身有局限,有可能产生一些偏差,请用户自行评测后决定如何使用。 如果你觉得OFA好用,喜欢我们的工作,欢迎引用:OFA-图片分类 (ImageNet-1K)
ImageNet-1K图片分类
快速玩起来
Notebook按钮,我们为你提供了配备好的环境(可选CPU/GPU),你只需要在otebook里输入提供的代码,就可以把OFA玩起来了!from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
from modelscope.outputs import OutputKeys
ofa_pipe = pipelie(Tasks.image_classificatio,model='damo/ofa_image-classificatio_imageet_large_e')
result = ofa_pipe('http://xigche-data.oss-c-zhagjiakou.aliyucs.com/maas/image-classificatio/image_classificatio.pg')
prit(result[OutputKeys.LABELS]) # 'forklift'
OFA是什么?
OFA模型规模:
Model Params-e Params-zh Backboe Hidde size Itermediate size Num. of heads Ec layers Dec layers
OFATiy 33M - ResNet50 256 1024 4 4 4
OFAMedium 93M - ResNet101 512 2048 8 4 4
OFABase 180M 160M ResNet101 768 3072 12 6 6
OFALarge 470M 440M ResNet152 1024 4096 16 12 12
OFAHuge 930M - ResNet152 1280 5120 16 24 12
效果展示
模型训练流程
训练数据介绍
训练流程
模型局限性以及可能的偏差
相关论文以及引用信息
@article{wag2022ofa,
author = {Peg Wag ad
A Yag ad
Rui Me ad
Juyag Li ad
Shuai Bai ad
Zhikag Li ad
Jiaxi Ma ad
Chag Zhou ad
Jigre Zhou ad
Hogxia Yag},
title = {OFA: Uifyig Architectures, Tasks, ad Modalities Through a Simple Sequece-to-Sequece
Learig Framework},
joural = {CoRR},
volume = {abs/2202.03052},
year = {2022}
}
点击空白处退出提示







评论