室内框架估计算法介绍

输入一张室内空间的全景RGB图像，室内框架估计算法将输出房间的墙线，天花板线跟地线

模型描述

PaoViT 的网络框架可以分为backboe、全景视觉变换器编码器（Visio trasformer ecoder）、边缘增强模块（Edge ehacemet module）和布局预测模块（Layout predictio module）。一张全景图送到backboe提取多尺度特征图，送到边缘增强模块得到边缘增强图。全景视觉转换器编码器以原始图像、边缘增强图和多尺度特征图为输入，输出特征向量供布局预测模块估计房间布局。网络的结构如图所示

如何使用

代码范例

import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks


task = Tasks.idoor_layout_estimatio
model_id = 'damo/cv_paovit_idoor-layout-estimatio'

iput_locatio = 'data/test/images/idoor_layout_estimatio.pg'
estimator = pipelie(Tasks.idoor_layout_estimatio, model=model_id)
result = estimator(iput_locatio)
layout_vis = result[OutputKeys.LAYOUT]
cv2.imwrite('layout.jpg', layout_vis)

输入图像格式

输入图像与mattroport3D数据集一致，为512*1024的全景图像。

模型精度

在Mattroport上的结果为

Bibtex

@article{she2022paovit,
  title={PaoViT: Visio Trasformer for Room Layout Estimatio from a Sigle Paoramic Image},
  author={She, Weichao ad Dog, Yua ad Che, Zoghao ad Zhao, Zhegyi ad Gao, Yag ad Liu, Zhu},
  joural={arXiv preprit arXiv:2212.12156},
  year={2022}
}

室内框架估计算法介绍 输入一张室内空间的全景RGB图像，室内框架估计算法将输出房间的墙线，天花板线跟地线    模型描述 PanoViT 的网络框架可以分为backbone、全景视觉变换器编