腾讯混元发布3D建模“万能王”!草图速变3D、一键换皮贴骨

作家 | ZeR0剪辑 | 漠影
将3D金钱一键生成、一键换皮肤、一键变动画,还有一键生成3D游戏视频,咫尺,腾讯混元3D创作引擎通通作念到了!
智东西1月21日报谈,本日,腾讯混元晓谕开源3D生成大模子2.0版,并上线业界首个一站式、低门槛3D AI创作引擎「混元3D创作引擎」,为鄙俚用户UGC和游戏等专考场景提供一款高效的3D实验分娩器用。

混元3D创作引擎包含三层架构,贪图倡导是用AI笼罩3D管线多个措施,打造功能最全的3D AI创作平台:
(1)模子层:基于3D-DiT和3D-Paint基础模子;
(2)才气层:含3D功能矩阵+3D生成责任流+3D创作素材库;
(3)利用层:提供可低资本定制的业务场景经管决策。
混元3D基础模子同期支援文生3D和图生3D,几何结构抽象度擢升,纹理颜色丰富,支援纹理作风接受与PBR贴图。
3D功能矩阵对准3D创作管线,提供丰富的生成和剪辑3D金钱才气,包括草图生3D、3D作风化、3D纹理生成、3D东谈主物生成、3D小游戏创作等。
灵感广场胪列了3D模子素材库,右上方可选不同场景类目(游戏谈具、东谈主物变装、商品、动植物等)。点击素材后,用户不错点击下载或创作同款3D模子。

用该平台生成的3D模子,支援通过相连时事共享给好友,并支援在PC端、迁移端进行模子预览、交互及下载。
体验纵贯车:https://3d.hunyuan.tencent.com/
刻卑劣戏制作、吩咐、电商告白、工业制造、具身智能、自动驾驶、AR/VR、三维打印等限制齐积极利用AI才气接济3D实验生成。混元3D生成大模子此前已运转利用于游戏、吩咐、腾讯舆图、腾讯云、机器东谈主等腾讯里面业务。
以游戏业务为例,AI生成3D模子对游戏研发增效作用赫然,大略减少好意思术资本和时刻资本。传统经过制作单变装模子需要破钞6~100天,而AI生成单变装模子的时长仅分钟级。
腾讯混元3D模子已全面绽开+开源:面向企业、个东谈主开荒者提供商用品性的3D开源模子,为机器东谈主仿真、自动驾驶等限制提供数据燃料;裁减3D金钱的生成周期、资本,激动3D普及。
混元还为科研学者提供更大的3D基础模子,加快征询探索,并从企业界的新视角,帮征询者寻找有价值的征询标的。
混元3D模子2.0开源主页:https://3d-models.hunyuan.tencent.com/
代码仓库:https://github.com/Tencent/Hunyuan3D-2/
一、支援文/图生3D,能模拟传神材质混元3D创作引擎同期支援文生3D和图生3D。用户不错策动3D作风化、渲染打光、骨骼绑定&动作驱动等3D模子剪辑器用才气,诊疗模子规定。
文生3D模式提供了预设prompt和prompt指南。输入请示词后能一次生成4个模子,可接受不同纹理作风(包括卡通、中国风、青花瓷、石雕、赛博一又克等)。

若是接受图生3D模式,则不错通过上传单图来生成3D模子。

据先容,混元近期将推出通过多视图生成3D模子的功能,以完结更高的可控性。
两种模式均支援PBR贴图,可通过模拟物感性情,生成传神的模子材质规定。
此外,创作引擎支援端到端低多边形模子生成。生陈规定大略在低面片的基础上最大化体现模子细节,拓扑布线愈加合乎好意思术程序,更适用于游戏引擎模子渲染。

其首个支援端到端生成低多边形low-poly模子,可阐明物体复杂进度,自稳妥生成几百至数千面的三角mesh,在面数更低的同期可保证模子细节规定。
二、时势利用玩法:简笔画秒变3D、白模一键换皮、好处Q版玩偶创作引擎的“实验室”页面提供了3D动画生成、3D纹理生成、3D东谈主物生成、草图生3D、3D小游戏创作等利用,动作3D模子利用的展示模块。

(1)草图生3D:上传线稿草图或接受草图素材,输入纹理、神志等性情的文本刻画,即可一键将二维草图调度成高质地的3D模子。

(2)3D纹理生成:上传3D模子或接受预置白模,输入翰墨指示或图片,该功能就能“一键换皮肤”,生成与上传模子或白模几何一致的高清纹理贴图,还能接受生成PBR材质贴图。

(3)3D动画生成:上传模子或接受预置模子,AI就会对生成3D变装模子完结自动绑骨蒙皮。用户不错接受不同的动作模版,让3D模子动起来。

(4)3D东谈主物生成:上传东谈主物图像,接受变装模版,该功能就能生成合乎个性化的3D东谈主物变装,完结个东谈主UGC 3D形象定制。

(5)3D小游戏创作:上传一张头像,接受变装模版,一键生成个东谈主专属IP变装的游戏动画视频,并支援共享转发。

还有一个混元3D特质功能——面向专科用户的3D生成责任流,通过模块化节点贪图,完结单点功能串联,提供预设的责任流模版、责任流剪辑器、责任台经管才气,匡助专科用户在游戏开荒、动画制作等限制快速搭建3D生成责任流。

其提供的责任流模版类型万般,有文/图生3D变装、文/图生3D谈具,大略自傲不同行务场景的需求。用户仅需加载模版,阐明我方的需求输入请示词或上传图片,诊疗节点生成参数,就能一键生成具有特定作风或特征的3D金钱。
这为专科用户提供了更方便、更高效、更低门槛的3D创作器用。
三、混元3D生成大模子2.0全面开源:升级几何结构、纹理颜色工业界3D模子多为闭源。客岁11月全面开源的混元3D生成大模子1.0,是业界最早的端到端3D大模子之一,亦然业界首个同期支援翰墨、图像生成3D的开源大模子。
2.0版块一经同期支援文、图生3D,是业界最早一批3D-DiT原生大模子,并通过将几何、纹知晓耦生成,几何结构愈加抽象,纹理颜色愈加丰富。从下图不错看到,2.0版块的生陈规定赫然擢升:

3D生成模子主要包括几何和纹理生成两部分。几何大模子专注于捕捉物体的时事、结构和空间关联,纹理大模子则专注于神志、细节和名义特征。
这种专注性使得每个模子能在其限制内进行更长远的学习和优化,而几何与纹知晓耦生成的方式,让举座生成才气达到更高上限,大略生成更为抽象和确凿的3D规定。
几何大模子和纹理大模子各自觉扬优异。其中,几何大模子由Hunyuan3D-DiT模子和Hunyuan ShapeVAE构成,能完结超高精度的白模生成,确凿达到了贪图师手工建模的水平。
纹理大模子Hunyuan3D-Paint则收受多视图扩散生成的决策,不错基于用户输入的参考图像对生成的几何白模进行纹理贴图,还能支援对用户纵情输入的几何模子进行纵情文本或图像训诫的纹理生成。

腾讯混元从定量和定性两个维度进行了评估,在汇集的In-the-wild测试集上,对3D生成质地进行了定量评估。
阐明CLIP Maximum Mean Discrepancy(CMMD)、Frechet Inception Distance(FID)、CLIP-score目的,不论是端到端最终3D金钱的质地,照旧几何模子生成的几何结构以及纹理基础模子生成纹理的质地,Hunyuan3D-2.0的举座发扬均优于刻下业界包括闭源模子在内的先进模子。

▲举座模子比拟

▲几何模子比拟

▲纹理模子比拟
在定性评估方面,从举座自得度、3D物体质地、指示顺从三个维度进行用户主不雅评估,规定败露,Hunyuan3D-2.0在生成质地上优于刻下最先进的开源模子。

▲用户喜好打分

▲3D生成可视化比拟

▲几何模子生成可视化比拟

▲纹理规定生成可视化比拟
结语:改日将更多面向利用程序而研发腾讯混元3D谨慎东谈主郭春超谈谈,混元3D生成大模子从1.0版块的领先开源,到快速升级2.0版块并绽开业界首个一站式3D AI创作平台,但愿切实匡助巨匠爱重者、开荒者、创作家们裁减使用门槛,擢升创作效劳,让3D大模子时刻在五行八作默契价值。
3D创作门槛很高,纯手工制作既贵又慢。其中3D制作管线相称复杂,运转触及6大项、卓绝30个措施,触及几何、纹理、布线、骨骼等多种模态,何况各措施前后依赖,对3D建模专科常识条款高。唯有基础模子远远不够。
关于3D基础模子而言,提高可控性、可用性齐是当务之急,数据不及亦然制肘模子发展的一大挑战。咫尺此类模子的时刻趋势包括构建高效3D示意、探索3D-DiT架构上限以及探索3D生成新范式。
学术3D生成时刻与制作管线存在各异大的问题。基模接入管线需要深度计划语义,触及重拓扑、UV张开、骨骼绑定与驱动等无数研发责任。
据先容,混元改日将更多面向利用程序而研发,确凿兼容3D管线需求。同期,混元也会握续为开源社区孝顺力量。