ImageBid是支持绑定来自六种不同模态（图像、文本、音频、深度、温度和IMU数据）的信息的AI模型，它将这些信息统一到单一的嵌入式表示空间中，使得机器能够更全面、直接地从多种信息中学习，而无需明确的监督（即组织和标记原始数据的过程）。
ImageBid通过将文本、图像/视频和音频、视觉、温度还有运动数据流串联在一起，形成一个单一的embeddigspace，让机器能从多维度来理解世界，也能创造沉浸式的多感官体验。
ImageBid通过将六种模式的嵌入对齐到一个共享的空间，实现了跨模式检索，这就能搜索那些没有同时出现的不同类型的内容。把不同的模式嵌入叠加，可以自然地构造它们的语义。例如ImageBid可以与DALLE-2解码器和CLIP文本一起嵌入，生成音频到图像的映射，就像人类听到声音脑补画面的那种感觉。
示例代码
跨模态（例如图像、文本和音频）提取和比较特征。
importdataimporttorchfrommodelsimportimagebid_modelfrommodels.imagebid_modelimportModalityTypetext_list=["Adog.","Acar","Abird"]image_paths=[".assets/dog_image.jpg",".assets/car_image.jpg",".assets/bird_image.jpg"]audio_paths=[".assets/dog_audio.wav",".assets/car_audio.wav",".assets/bird_audio.wav"]device="cuda:0"iftorch.cuda.is_available()else"cpu"#Istatiatemodelmodel=imagebid_model.imagebid_huge(pretraied=True)model.eval()model.to(device)#Loaddataiputs={ModalityType.TEXT:data.load_ad_trasform_text(text_list,device),ModalityType.VISION:data.load_ad_trasform_visio_data(image_paths,device),ModalityType.AUDIO:data.load_ad_trasform_audio_data(audio_paths,device),}withtorch.o_grad():embeddigs=model(iputs)prit("VisioxText:",torch.softmax(embeddigs[ModalityType.VISION]@embeddigs[ModalityType.TEXT].T,dim=-1),)prit("AudioxText:",torch.softmax(embeddigs[ModalityType.AUDIO]@embeddigs[ModalityType.TEXT].T,dim=-1),)prit("VisioxAudio:",torch.softmax(embeddigs[ModalityType.VISION]@embeddigs[ModalityType.AUDIO].T,dim=-1),)#Expectedoutput:##VisioxText:#tesor([[9.9761e-01,2.3694e-03,1.8612e-05],#[3.3836e-05,9.9994e-01,2.4118e-05],#[4.7997e-05,1.3496e-02,9.8646e-01]])##AudioxText:#tesor([[1.,0.,0.],#[0.,1.,0.],#[0.,0.,1.]])##VisioxAudio:#tesor([[0.8070,0.1088,0.0842],#[0.1036,0.7884,0.1079],#[0.0018,0.0022,0.9960]])
评论