斯坦福大学提出了一种名为OccFusion的新方法,旨在实现遮挡人体的高保真度渲染。换句话说,就算人体的一部分被其他物体遮挡,OccFusion最终也能渲染出完整的人体形态。
传统的人体渲染方法通常要求视频中人体的每个部分都完全可见,然而在现实生活中,遮挡是常见的,导致人体只能部分可见。OccFusion利用高效的3D高斯分片结合预训练的2D扩散模型进行监督,以实现高效且高保真度的人体渲染。
该方法包括三个阶段:初始化、优化和细化。在初始化阶段,从部分可见性掩模中生成完整的人体掩模;在优化阶段,通过条件化的得分蒸馏采样优化人体高斯;最后,在细化阶段,通过上下文修补进一步提高渲染质量。
OccFusion在ZJU-MoCap和具有挑战性的OcMotion序列上进行了评估,表现出色,达到了遮挡人体渲染的最新水平。整个训练过程仅需在单个Titan RTX GPU上花费10分钟。