今日应用
今日话题
NUS团队提出X-Ray：一种看透物体的3D表示和生成模型!
重点标签 tag1、3D表示技术、tag2、X-Ray技术、tag3、视频生成模型、tag4、3D物体生成、tag5、计算机视觉
文章摘要
摘要：
NUS研究团队胡涛博士等人近期发布了一种全新的3D表示技术——X-Ray，它能够序列化地表示从相机摄像角度看过去的物体的逐层次的物体表面形状和纹理，同时生成物体的内外3D结构。该技术充分利用视频生成模型的优势来生成3D物体，解决了以往3D模型生成技术只能生成简单、无自遮挡物体且无法呈现内部结构的问题。X-Ray技术通过编码过程将3D模型转换为X-Ray，再通过解码过程将X-Ray转换回3D模型。该技术的应用前景广阔，未来可能与AR、VR技术结合，为用户创造出沉浸式的3D体验，也可能在教育、训练、医疗影像和生物技术领域有所应用。
技术原理：
X-Ray表示方法从相机中心开始朝向物体方向发射射线，在每条射线方向上记录与物体表面相交点的三维属性数据，包括深度、法向量和颜色等，将这些数据组织成张量形式，实现3D模型的表示。X-Ray技术包括编码过程和解码过程，编码过程将3D模型转化为X-Ray，解码过程则将X-Ray转换回3D模型。
技术优势：
1. 能够同时生成物体的内外3D结构。
2. 利用视频生成模型的优势，提高了3D物体生成的效率和质量。
3. 解决了以往3D模型生成技术的限制，能够生成更复杂的3D物体。
应用前景：
1. 与AR、VR技术结合，创造沉浸式3D体验。
2. 教育和训练领域，提供直观的学习材料和模拟实验。
3. 医疗影像和生物技术领域，改变对复杂生物结构的理解和研究方法。
实验：
实验使用了Objaverse数据集的一个筛选子集，包含超过60,000个3D对象。通过Blender软件进行渲染，并通过光线投射算法生成相应的X-Ray。X-Ray扩散模型基于Stable Video Diffusion (SVD) 中使用的时空UNet架构，训练在8个NVIDIA A100 GPU服务器上进行了一周。
未来展望：
X-Ray技术的应用前景无限广阔，随着机器学习和图像处理技术的不断进步，我们期待它如何改变我们与三维世界的互动方式。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
