基于向量量化的神经网络辐射场压缩

当前主流的可实时推理的NeRF方法，如Pleoxel、Dvgo存在模型存储消耗巨大的问题，一个模型需要上百兆，不利于NeRF渲染方案的实用化。本项目使用了向量量化技术对NeRF模型进行了压缩，大大减小了模型大小，同时保持了较好的重建效果。

Cloe with HTTP

 git cloe https://www.modelscope.c/DAMOXR/cv_erf_3d-recostructio_vector-quatize-compressio.git

方法描述

本方法通过对当前NeRF模型存储内容的分析，发现模型中存在大量冗余的体素(Voxel)，因此首先分析体素的重要性，又针对不同的场景采用自适应的阈值来划分体素的重要程度。对于重要的体素，我们使用向量量化的方法对其进行压缩，从而达到减小模型存储大小的目的。

在多个数据集上的渲染可视化效果也表明了对效果几乎没有影响。

使用方式和范围

适用范围： 当前支持两种数据类型，分别是erf_sythetic和LLFF

• erf-sythesis数据集人工合成的多视角数据集，包含8个场景，下载及更多信息请参考NeRF三维重建数据集
• LLFF 数据集包含真实拍摄的多视角数据集，包含8个场景,下载及更多信息请参考NeRF_LLFF真实场景数据集

运行环境：

• 模型只支持在GPU上运行，已在V100,A100,RTX3090上测试通过，具体效率与显卡性能相关
• GPU 显存需求： 8G以上

使用方法

推理代码范例

Bleder 数据集：

import os
from modelscope.msdatasets import MsDataset
from modelscope.outputs import OutputKeys
from modelscope.pipelies import pipelie
from modelscope.utils.costat import Tasks
from modelscope.utils.test_utils import test_level

model_id = 'DAMOXR/cv_erf_3d-recostructio_vector-quatize-compressio'
pretraied_model = 'ficus_demo.pt'
data_dir = MsDataset.load('erf_reco_dataset', amespace='damo',
                    split='trai').cofig_kwargs['split_cofig']['trai']
erf_sythetic_dataset = os.path.joi(data_dir, 'erf_sythetic')
bleder_scee = 'ficus'
data_dir = os.path.joi(erf_sythetic_dataset, bleder_scee)

erf_vq_compressio = pipelie(Tasks.erf_reco_vq_compressio, 
                                 model=model_id,
                                 dataset_ame='bleder',
                                 data_dir=data_dir,
                                 dowsample=1,
                                 dc_ray=False,
                                 ckpt_path=pretraied_model
                                 )
reder_dir = os.path.joi('./exp/', bleder_scee)

# For evaluatio test dataset to get metrics like psr, ssim, N_vis is the umber of test images
erf_vq_compressio(dict(test_mode='evaluatio_test', reder_dir=reder_dir, N_vis=5))

# For rederig ovel views, N_vis is the umber of views
erf_vq_compressio(dict(test_mode='reder_path', reder_dir=reder_dir, N_vis=30))

LLFF 数据集：

model_id = 'DAMOXR/cv_erf_3d-recostructio_vector-quatize-compressio'
pretraied_model = 'fer_demo.pt'
data_dir = MsDataset.load(
    'DAMOXR/erf_llff_data',
    subset_ame='default',
    split='test',
).cofig_kwargs['split_cofig']['test']
erf_llff = os.path.joi(data_dir, 'erf_llff_data')
llff_scee = 'fer'
data_dir = os.path.joi(erf_llff, llff_scee)

erf_vq_compressio = pipelie(Tasks.erf_reco_vq_compressio, 
                              model=model_id,
                              dataset_ame='llff',
                              data_dir=data_dir,
                              dowsample=4,
                              dc_ray=True,
                              ckpt_path=pretraied_model
                              )
reder_dir = os.path.joi('./exp/', llff_scee)

# For evaluatio test dataset to get metrics like psr, ssim, N_vis is the umber of test images
erf_vq_compressio(dict(test_mode='evaluatio_test', reder_dir=reder_dir, N_vis=5))

# For rederig ovel views, N_vis is the umber of views
erf_vq_compressio(dict(test_mode='reder_path', reder_dir=reder_dir, N_vis=10))

数据评估及结果

Bleder 数据集

压缩前:

VQRF压缩后:

LLFF 数据集

压缩前:

VQRF压缩后:

方法引用

  @iproceedigs{li2023compressig,
    title={Compressig volumetric radiace fields to 1 mb},
    author={Li, Ligzhi ad She, Zhe ad Wag, Zhogshu ad She, Li ad Bo, Liefeg},
    booktitle={Proceedigs of the IEEE/CVF Coferece o Computer Visio ad Patter Recogitio},
    pages={4222--4231},
    year={2023}
}

基于向量量化的神经网络辐射场压缩 当前主流的可实时推理的NeRF方法，如Plenoxel、Dvgo存在模型存储消耗巨大的问题，一个模型需要上百兆，不利于NeRF渲染方案的实用化。本项目使用了向量量化技