今日应用
今日话题
两篇论文同时获最佳论文荣誉提名,SIGGRAPH上首个Real-Time Live的中国团队用生成式AI创建3D世界
重点标签 SIGGRAPH 2024、3D模型生成、AI技术、CLAY、Rodin
文章摘要
上海科技大学MARS实验室团队在SIGGRAPH 2024大会上获得两篇最佳论文荣誉提名
上海科技大学MARS实验室团队在SIGGRAPH 2024大会上获得两篇最佳论文荣誉提名,其研究成果CLAY和DressCode分别聚焦于3D生成和3D服装生成。该团队展示了基于CLAY的3D生成解决方案,通过单张图片生成不同风格的卡通形象,背后是新一代3D AI引擎Rodin。Rodin可以生成PBR纹理和四角面,支持3D ControlNet控制AI生成形状,甚至支持直接手绘和涂鸦。
CLAY采用3D原生技术路线,直接从3D数据集训练生成模型
CLAY采用3D原生技术路线,直接从3D数据集训练生成模型,通过定制的数据处理流程挖掘多种3D数据集,提出了有效的技术来扩展生成模型。CLAY包含一个参数量高达15亿的3D生成模型,实现了对几何的精确控制。研究者还设计了3D版ControlNet,支持各种不同模态的条件控制。
Rodin已成为很多3D开发者的常用3D生成器
Rodin已成为很多3D开发者的常用3D生成器,大幅降低了3D创造的门槛。国内外很多行业使用者反馈认为,Rodin生成的3D资产几何科学、布线规则、材质贴图精致,而且可以直接被导入现有的主流渲染引擎,使用起来非常方便,是一款接近Production-Ready的3D生成应用。
基于CLAY的3D生成技术不仅指引着业界方向,还将对图像和视频的生成起到积极作用。因为从信息熵的角度来说,你提供的信息越少,模型发挥的空间就越大。而3D模型化可以锚定其收敛的方向,提高图像、视频生成的可控性。不过,3D领域本身不像图像和视频那么简单,只有补齐完整链条,用户才会真正开始接受3D + AI的能力。这部分工作可能通过合作伙伴的API,或者由其团队自行完成。期待未来,新技术的进一步落地。
文章来源
原文地址: 点我阅读全文
原文作者: 机器之心