Blended-NeRF是一个强大而灵活的框架，用于编辑NeRF场景中的特定兴趣区域。该框架利用预训练的语言-图像模型和现有NeRF场景上初始化的3D MLP模型，根据文本提示或图像块合成并混合对象到原始场景中的指定区域。使用3D ROI框实现局部编辑，并通过体积混合技术将合成内容与现有场景融合。为了获得逼真且一致的结果，该框架使用几何先验和3D增强技术提高视觉保真度。在定性和定量测试中，Blended-NeRF展示了比基准方法更大的灵活性和多样性的逼真多视图一致结果。此外，该框架适用于多种3D编辑应用。

近年来，在神经隐式表示领域取得了重要的进展，特别是对于3D场景的隐式表示。NeRFs是一种基于MLP的神经模型，可以通过体积渲染从有限数量的观测生成高质量的图像。然而，编辑NeRF表示的场景是具有挑战性的，因为场景是以隐式方式编码的，而不是以显式方式表示。此外，在NeRF表示的场景中混合新对象也是具有挑战性的，需要在隐式表示的基础上保持多个视角之间的一致性。与在图像中进行局部编辑不同，现有的方法主要集中在局部部分的移除、颜色变化和形状转移等简单操作上。本文提出了一种基于ROI的NeRF场景编辑方法，通过文本提示或图像修补来引导。该方法具有通用性，可以应用于任何实际场景中的任何区域，并生成自然且与现有场景无缝融合的结果。为了实现局部编辑，我们利用预训练的语言-图像模型和现有的NeRF模型，结合深度信息和体积混合方法，实现了对指定区域的编辑。为了获得更逼真、自然且一致的结果，我们还引入了增强和先验，如深度正则化、姿态采样和方向依赖的提示。经过广泛的实验验证，我们的方法在各种真实3D场景的编辑应用中取得了良好的效果。

神经隐式表示在计算机视觉和图形学领域中得到了广泛的应用，包括2D和3D。其优点之一是能够捕捉复杂多样的模式，并提供底层场景的连续表示。与高分辨率2D图像的显式表示，或者3D中的网格和点云相比，神经隐式表示具有独立于分辨率的紧凑性。NeRFs通过多层感知机(MLP)的权重学习将3D场景表示为连续体积和辐射场。给定3D位置

*博客内容为网友个人发布，仅代表博主个人观点，如有侵权请联系工作人员删除。