ruDALL-E是一个可以根据文本自动生成图像的工具。基于简短的文本描述，ruDALL-E可以生成关于各种主题和主题的明亮多彩的图像。该模型理解广泛的概念，并生成现实世界中不存在的全新图像和对象。
其目标是创建一个“多模态”神经网络，以多种模态学习概念，主要是在文本和视觉领域，以便更好地理解世界。转换器被教导将文本和图像标记作为单个数据流进行自回归建模。
fromrudalle.pipeliesimportgeerate_images,show,super_resolutio,cherry_pick_by_clipfromrudalleimportget_rudalle_model,get_tokeizer,get_vae,get_realesrga,get_ruclipfromrudalle.utilsimportseed_everythig#preparemodels:device='cuda'dalle=get_rudalle_model('Malevich',pretraied=True,fp16=True,device=device)tokeizer=get_tokeizer()vae=get_vae(dwt=True).to(device)#pipelieutils:realesrga=get_realesrga('x2',device=device)ruclip,ruclip_processor=get_ruclip('ruclip-vit-base-patch32-v5')ruclip=ruclip.to(device)text='изображениерадугинафоненочногогорода'seed_everythig(42)pil_images=[]scores=[]fortop_k,top_p,images_umi[(2048,0.995,3),(1536,0.99,3),(1024,0.99,3),(1024,0.98,3),(512,0.97,3),(384,0.96,3),(256,0.95,3),(128,0.95,3),]:_pil_images,_scores=geerate_images(text,tokeizer,dalle,vae,top_k=top_k,images_um=images_um,top_p=top_p)pil_images+=_pil_imagesscores+=_scoresshow(pil_images,6)
评论