表情包文本生成指的是给一张图片,配一个表情包style的文字。 玩转OFA只需区区以下6行代码,就是如此轻松!如果你觉得还不够方便,请点击右上角Notebook按钮,我们为你提供了配备了GPU的环境,你只需要在otebook里输入提供的代码,就可以把OFA玩起来了!
OFA(Oe-For-All)是通用多模态预训练模型,使用简单的序列到序列的学习框架统一模态(跨模态、视觉、语言等模态)和任务(如图片生成、视觉定位、图片描述、图片分类、文本生成等),详见我们发表于ICML 2022的论文:OFA: Uifyig Architectures, Tasks, ad Modalities Through a Simple Sequece-to-Sequece Learig Framework,以及我们的官方Github仓库https://github.com/OFA-Sys/OFA。
Github&bsp; | &bsp;Paper &bsp; | &bsp;Blog
目前ModelScope上面所有已经上传的模型和任务可以在下面导航表格看到,点击链接可以跳转到相应modelcard。 如果你觉得OFA好用,喜欢我们的工作,欢迎引用:OFA表情包文本生成器
News
表情包文本生成(中文)
什么是表情包文本生成?
快速玩起来
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
from modelscope.outputs import OutputKeys
img_captioig = pipelie(Tasks.image_captioig, model='damo/ofa_image-captio_meme_large_zh',model_revisio='v1.0.2')
result = img_captioig('http://xigche-data.oss-c-zhagjiakou.aliyucs.com/maas/meme/mushroom_head1.pg')
prit(result[OutputKeys.CAPTION]) # ['我不想说话', '我是你爸爸']
OFA是什么?
OFA模型规模
Model Params-e Params-zh Backboe Hidde size Itermediate size Num. of heads Ec layers Dec layers
OFATiy 33M - ResNet50 256 1024 4 4 4
OFAMedium 93M - ResNet101 512 2048 8 4 4
OFABase 180M 160M ResNet101 768 3072 12 6 6
OFALarge 470M 440M ResNet152 1024 4096 16 12 12
OFAHuge 930M - ResNet152 1280 5120 16 24 12
OFA 模型任务矩阵
模型规模
预训练
图像描述
视觉问答
视觉定位
视觉蕴含
文生图
图像分类
文字识别
文本摘要
文本分类
OFATiy
英文
英文
-
英文
英文
-
-
-
-
-
OFAMedium
英文
-
-
-
-
-
-
-
-
-
OFABase
中文/英文
中文电商
-
-
-
-
-
场景中文
-
-
OFALarge
中文/英文
英文
英文
中文/英文
英文
英文
英文
-
英文
英文
OFAHuge
英文
英文
英文
-
-
-
-
-
-
-
OFA6B
-
英文
-
-
-
-
-
-
-
-
相关论文以及引用
@article{wag2022ofa,
author = {Peg Wag ad
A Yag ad
Rui Me ad
Juyag Li ad
Shuai Bai ad
Zhikag Li ad
Jiaxi Ma ad
Chag Zhou ad
Jigre Zhou ad
Hogxia Yag},
title = {OFA: Uifyig Architectures, Tasks, ad Modalities Through a Simple Sequece-to-Sequece
Learig Framework},
joural = {CoRR},
volume = {abs/2202.03052},
year = {2022}
}
点击空白处退出提示
评论