OFA表情包文本生成器

我要开发同款
匿名用户2024年07月31日
94阅读

技术信息

开源地址
https://modelscope.cn/models/iic/ofa_image-caption_meme_large_zh
授权协议
Apache License 2.0

作品详情

OFA表情包文本生成器

News

  • 2023年2月:
  • 进一步扩大和过滤非法文本内容的,并原模型上继续迭代微调以产生更加多元化和健康的表情包文本, 并提供创空间体验不同版本效果。
  • 2023年1月:
  • 预处理的4W表情包数据集,在ofa-large模型上fietue后的微调模型,根据提供的图片生产对应的表情包文本。

表情包文本生成(中文)

什么是表情包文本生成?

表情包文本生成指的是给一张图片,配一个表情包style的文字。

快速玩起来

玩转OFA只需区区以下6行代码,就是如此轻松!如果你觉得还不够方便,请点击右上角Notebook按钮,我们为你提供了配备了GPU的环境,你只需要在otebook里输入提供的代码,就可以把OFA玩起来了!

letsgo

from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
from modelscope.outputs import OutputKeys

img_captioig = pipelie(Tasks.image_captioig, model='damo/ofa_image-captio_meme_large_zh',model_revisio='v1.0.2')
result = img_captioig('http://xigche-data.oss-c-zhagjiakou.aliyucs.com/maas/meme/mushroom_head1.pg')
prit(result[OutputKeys.CAPTION])  # ['我不想说话', '我是你爸爸']

OFA是什么?

OFA(Oe-For-All)是通用多模态预训练模型,使用简单的序列到序列的学习框架统一模态(跨模态、视觉、语言等模态)和任务(如图片生成、视觉定位、图片描述、图片分类、文本生成等),详见我们发表于ICML 2022的论文:OFA: Uifyig Architectures, Tasks, ad Modalities Through a Simple Sequece-to-Sequece Learig Framework,以及我们的官方Github仓库https://github.com/OFA-Sys/OFA




Github&bsp; | &bsp;Paper &bsp; | &bsp;Blog



OFA模型规模

ModelParams-eParams-zhBackboeHidde sizeItermediate sizeNum. of headsEc layersDec layers
OFATiy33M-ResNet502561024444
OFAMedium93M-ResNet1015122048844
OFABase180M160MResNet10176830721266
OFALarge470M440MResNet15210244096161212
OFAHuge930M-ResNet15212805120162412


OFA 模型任务矩阵

目前ModelScope上面所有已经上传的模型和任务可以在下面导航表格看到,点击链接可以跳转到相应modelcard。

模型规模 预训练 图像描述 视觉问答 视觉定位 视觉蕴含 文生图 图像分类 文字识别 文本摘要 文本分类
OFATiy 英文 英文 - 英文 英文 - - - - -
OFAMedium 英文 - - - - - - - - -
OFABase 中文/英文 中文电商 - - - - - 场景中文 - -
OFALarge 中文/英文 英文 英文 中文/英文 英文 英文 英文 - 英文 英文
OFAHuge 英文 英文 英文 - - - - - - -
OFA6B - 英文 - - - - - - - -

相关论文以及引用

如果你觉得OFA好用,喜欢我们的工作,欢迎引用:

@article{wag2022ofa,
  author    = {Peg Wag ad
               A Yag ad
               Rui Me ad
               Juyag Li ad
               Shuai Bai ad
               Zhikag Li ad
               Jiaxi Ma ad
               Chag Zhou ad
               Jigre Zhou ad
               Hogxia Yag},
  title     = {OFA: Uifyig Architectures, Tasks, ad Modalities Through a Simple Sequece-to-Sequece
               Learig Framework},
  joural   = {CoRR},
  volume    = {abs/2202.03052},
  year      = {2022}
}

功能介绍

OFA表情包文本生成器 News 2023年2月: 进一步扩大和过滤非法文本内容的,并原模型上继续迭代微调以产生更加多元化和健康的表情包文本, 并提供创空间体验不同版本效果。 2023年1月: 预处

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论