优德官网

克日，，，，，，，优德官网（优德官网）协办 W3C Web 中文兴趣组 · 陶醉式 Web 线上钻研会。。。。。

克日，，，，，，，优德官网（优德官网）协办 W3C Web 中文兴趣组 · 陶醉式 Web 线上钻研会。。。。。优德官网扩展现实研究中心在钻研会上就“AI 驱动下的 XR 内容天生”主题举行分享，，，，，，，先容了中心最新的研究希望，，，，，，，并与参会者围绕 WebXR、XR 内容天生等话题举行普遍交流与探讨。。。。。

以下为扩展现实研究中心助理工程师刘聪的演讲整理。。。。。

刘聪：各人好！我们是优德官网（优德官网），，，，，，，也是深圳市十大基础研究机构之一。。。。。我们属于优德官网的扩展现实研究中心，，，，，，，中心主任是田第鸿博士。。。。。本次我想分享的问题是“AI 驱动下的 XR 内容天生”。。。。。

扩展现实（XR）研究中心主要在“AI 驱动可视内容天生”和“盘算成像”等偏向上开展研究事情。。。。。今天我想分享的主题是“AI 驱动下的 XR 内容天生”。。。。。各人都知道在整个 XR 行业内里，，，，，，，三维视觉内容天生是一个很是主要的焦点，，，，，，，可是现在各人在做这件事的时间，，，，，，，都需要破费很大的精神。。。。。好比说用高精度的三维扫描装备实现三维内容获取，，，，，，，再好比说需要一些建模师花大宗时间和精神建设这些内容。。。。；；；；；；；谡庑┚窒，，，，，，，我们希望通过 AI 和陶醉式 Web 手艺团结搭建一个扩展现实内容天生平台，，，，，，，在这个平台内里把我们 XR 的内容快速天生，，，，，，，快速宣布出来。。。。。

我下面放的这个图，，，，，，，是云+端架构的图。。。。。在云端主要认真 AI 盘算以及陶醉式盘算，，，，，，，在终端主要认真交互，，，，，，，通过 AI 与陶醉式 web 的团结实现一个快速的 XR 内容创作平台的开发。。。。。同时在国家层面上，，，，，，，推动三维图形学的生长也是今年两会在虚拟现实和增强现实偏向上关注的一个重点。。。。。

睁开讲这个议题，，，，，，，我想从以下几个方面先容：一是基于语义辅助形式的三维内容天生。。。。。好比说我们讲语义辅助的时间，，，，，，，左边放了一个例子，，，，，，，我们通过单张图像就能快速天生出一个高精度的鸟儿的模子，，，，，，，在有一定信息缺失的情形下，，，，，，，通过语义辅助的方法让整个模子天生，，，，，，，这也是我们前段时间发的一篇论文研究事情。。。。。这个事情中心也包括一些细节，，，，，，，好比提到了一些立异点，，，，，，，包括 FID 的优化等其他的一系列优化偏向。。。。。

我们可以看到这个实验效果，，，，，，，左边的第一列是我们输入的图像数据，，，，，，，右边的这些实验效果是差别视角渲染出来的模子图像，，，，，，，可以看出有一定的三维可视效果，，，，，，，能够实现快速的天生。。。。。这是以鸟儿为例讲语义辅助天生的要领。。。。。

在三维内容内里尚有一个更主要，，，，，，，同时各人也可能关注更多的是虚拟人体（数字人），，，，，，，以是我们在语义辅助要领上面探索的另外一个案例就是希望通过视觉图像的计划去驱动虚拟人体实现快速的天生。。。。。这是我们做的一些例子，，，，，，，好比说这上面的8张图像就能快速天生一个高精度的虚拟人体模子，，，，，，，未来能够用于三维打印、虚拟聚会、虚拟主播等应用场景。。。。。PPT 上展示的是我们现在获得的一些效果，，，，，，，这个“虚拟人体”的研究事情也是一连在开展，，，，，，，待会我也会先容怎样驱动这些人物在视频驱动下运动，，，，，，，以及它能够跟一些其他 AI 算法团结起来，，，，，，，让它能智能地去明确，，，，，，，跟人举行交互的例子。。。。。

除此之外，，，，，，，若是把它放到一个更极端的案例上面。。。。。好比，，，，，，，我们能不可通过1张图像就能快速天生——通过输入单张的一小我私家的图片去天生一个高精度的 3D 人体，，，，，，，这个跟前面 3D 的虚拟人体相比保存一定的缺陷，，，，，，，可是也能实现快速的天生。。。。。

我们在人体方面还做了其他实验，，，，，，，好比我们放在一个半身人像上面，，，，，，，当你输入一张 2D 的人脸图像，，，，，，，我们能天生一个 3D 的 Avatar，，，，，，，这样的例子经常在远程通讯场景中会被提到。。。。。在这个基础上，，，，，，，我们又增添了一个蹊径，，，，，，，就是看能不可把它放到一个越发笼统的看法，，，，，，，好比说针敌手绘的一些图像、图形，，，，，，，AI 是否也能驱下手绘的图形图像天生一个 2D 的 Avatar，，，，，，，然后再通过 2D 的 Avatar 去驱动天生一个 3D 的 Avatar，，，，，，，这也是属于我们在单视角重修上面做的一个主要探索。。。。。

先容完第一部分，，，，，，，也就是 AI 驱动基于语义辅助的部分。。。。。第二部分我想讲的是我们探索的基于语义识别和搜索的一套系统和系统，，，，，，，好比说有一个客户端首先通过摄像头获取一些图像数据并将图像传到云端，，，，，，，然后这个时间系统能够调取我们在云端的 AI 效劳，，，，，，，通过 AI 效劳会举行一系列的识别、搜索甚至天生一系列的内容，，，，，，，最后将天生的 XR 内容返回给终端举行 XR 的可视。。。。。

举个例子，，，，，，，好比说你拍到的这只鸟儿在我 3D 模子库内里有了，，，，，，，它会返回效果，，，，，，，在客户端能够可视化出来，，，，，，，最后在 XR 终端上面举行交互。。。。。

虽然尚有第二条路，，，，，，，若是你的内容在系统内里历来没有泛起，，，，，，，它会自动匹配系统内里泛起的 XR 的图像数据，，，，，，，或者是一些语义文本，，，，，，，用这些语义文本去驱动天生一个 XR 的内容。。。。。再举一个例子，，，，，，，好比说之前的谁人单视角天生人体的案例，，，，，，，一张拍摄人体的图像在云端调取了 AI 天生人体的一个效劳，，，，，，，通过 AI 内容实时天生系统把人体天生出来，，，，，，，最后展示在我们 XR 的内容交互平台上面去，，，，，，，实现在差别 XR 终端上举行交互。。。。。

另一个例子是我们在深圳市龙岗区做的一个优质文化项目，，，，，，，这是在深圳的音乐厅内里做的一个例子。。。。。当我拍摄这些乐器图案的时间，，，，，，，它能从云端快速识别，，，，，，，知道它是大提琴或者古筝这样的乐器，，，，，，，然后再返回出我们已经建好的一个 XR 的内容，，，，，，，这些内容就包括一些可交互的手段，，，，，，，好比说我能通过一些简朴的交互，，，，，，，在 AR 模式下点击屏幕就能让这些大提琴演奏出一些乐曲。。。。。

刚刚讲到了两个方面，，，，，，，一个是基于视觉识别和搜索的 XR 内容天生，，，，，，，另一个是基于一些语义驱动下的 XR 内容天生，，，，，，，这两部分内容讲的都是一些静态的内容，，，，，，，下面我想讲的内容是我们在动态的 XR 内容上面做的一些事情，，，，，，，这个主要是放在人体的场景内里探索。。。。。好比第一个例子，，，，，，，当我们有了大宗的人体图像数据之后，，，，，，，我们能够天生一系列高精度的三维的虚拟人体，，，，，，，通过这些虚拟人体我们能够通过 AI 的方法去绑定它的骨骼，，，，，，，能够让他自动天生属于自己的骨骼。。。。。最后获得的效果就是，，，，，，，AI 能够让这小我私家体模子实现自顺应绑骨，，，，，，，最终天生一个高精度的绑骨后的人体模子（AI绑骨）。。。。。再举另一个例子，，，，，，，从视频内里同样可以去提取出它的一些视频的行动信息以及一些语义，，，，，，，让这些语义去天生一套行动信息系统（行动捕获与迁徙）。。。。。

获得了这个模子和行动信息，，，，，，，就能够将绑定骨骼的模子与行动绑定在一起，，，，，，，自然而然就天生了一个发动画的人体模子，，，，，，，这个就是我们放在动态驱动内里做的一些事情。。。。。除了上面两个例子之外，，，，，，，我们也做了一些搭建骨骼模子库，，，，，，，以及行动库等类似的事情。。。。。

总结起来放到一个动态驱动的框架内里，，，，，，，一个静态模子天生之后，，，，，，，能够通过 AI 绑定骨骼以及行动迁徙，，，，，，，从视频内里提取一些行动信息，，，，，，，提取语义的方法，，，，，，，让静态的内容动起来，，，，，，，在 XR 的交互终端上面可视化出来，，，，，，，这着实就是我们在动态内容天生上面做的一些事情。。。。。

（下图）右边这两个图是行动信息库和动画模子库，，，，，，，这两个图是我们在这个历程中做的另外一件事情，，，，，，，我们希望用户使用的历程中，，，，，，，能在优德官网平台上面选择一些行动信息库和动画模子库，，，，，，，去制订他们自界说的一些 XR 的内容。。。。。

在这里尚有两个视频，，，，，，，一个是实时的 2D 动态驱动，，，，，，，也就是我通过捕获 2D 的人脸、人像、人体的行动姿态信息，，，，，，，让 2D 的一些动漫人物爆发动画。。。。。第二个是放在 XR 的框架内里，，，，，，，在一个三维空间内里去实时捕获驱动。。。。。左边是优德官网一个模特在舞蹈，，，，，，，右边是一个虚拟偶像模子，，，，，，，系统能够实时提取舞蹈的动画并且反响到虚拟偶像模子上面，，，，，，，实现实时驱动。。。。。

我刚刚主要提到了三种 XR 内容的天生方法，，，，，，，这些天生方法我们是想团结陶醉式 Web 这样一个手艺去搭建一套扩展现实内容天生的平台，，，，，，，把这样一些内容天生、3D 内容天生以及动态内容天生的手艺用在陶醉式 Web 这样一个框架内里，，，，，，，搭建一个快速编辑创作 XR 内容的 Web 平台，，，，，，，通过这样的平台去快速地举行编辑创作，，，，，，，宣布用户在差别笔直领域的 XR 内容。。。。。

许多的工业需求就是它的使用培训流程，，，，，，，以下面这个咖啡机为例，，，，，，，（下图）左边这个图是一个咖啡机，，，，，，，咖啡机的使用经常是人们在生涯中头疼的问题，，，，，，，上面这个图是通过 XR 终端去体验我们编辑好的 XR 内容，，，，，，，把一步步操作用扩展现实终端，，，，，，，用 XR 内容平台去编辑宣布出来。。。。。最后的宣布形式照旧通过一个网页的形式，，，，，，，各人都能够很轻松地进入去获取。。。。。

右边举的这个例子着实是 HTML 的一个网页，，，，，，，它上面会有一些咖啡机使用的教程以及一些动画，，，，，，，都是一步一步去举行实现与提醒，，，，，，，最后能通过 XR 终端方法去可视化出来。。。。。

若是把 Webrtc 远程通讯这种计划引入到内里的话，，，，，，，我们尚有其他相关的一些案例，，，，，，，好比平行操作——通过佩带 VR 终端，，，，，，，实现对远程机械人的使用，，，，，，，能让机械人举行一些远程作业。。。。；；；；；；Ｉ杏懈飧隼嗨频，，，，，，，好比远程协助和多人协作，，，，，，，通过这样一些网络通讯接口能轻松实现多机互联以及多机通讯。。。。。

总体来说，，，，，，，我们基于 AI 天外行艺搭建了一套扩展现实内容天生的 Web 平台，，，，，，，左边也是我们平台的网址和网页。。。。。同时，，，，，，，我们也是 W3C 的会员单位，，，，，，，现在正要成为 W3C 粤港澳大湾区代表处，，，，，，，未来也会与 W3C 做一些 WebXR 等偏向上的相助与探索，，，，，，，我们希望跟工业界的列位同仁一起搜集扩展现实陶醉式网络的相关实力，，，，，，，推动 WebXR 陶醉式网络焦点手艺的生长，，，，，，，一起来制订一些行业化标准。。。。。

我的先容大致是这样，，，，，，，各人对优德官网事情绪兴趣的话也接待与我坚持联系。。。。。

Q&A

邵志兢：我想问一下关于单照片转三维模子，，，，，，，我们之前也看过这个偏向，，，，，，，会不会对姿态和体态都会有一些限制？？？？？？好比说人是不是一定要摆一个 pose 出来，，，，，，，若是女生是长发披肩，，，，，，，头发会不会被识别裁缝服？？？？？？或者说穿了裙子，，，，，，，裙子会被劈开酿成两条腿。。。。。

刘聪：你提的是一个很好的问题，，，，，，，你提到了两点，，，，，，，第一个是关于它的姿态问题。。。。。我们现在做的这个通过单视角的图像去天生人体，，，，，，，用的是隐式函数的手艺蹊径去做，，，，，，，以是差别于一些基于 Template 的计划对姿态限制较大。。。。。第二个就是你提到它的头发和衣服，，，，，，，这也是在我们 AI 做天生内里的难点和痛点，，，，，，，是由于它转变幅度和转变规模相对来说照旧较量大的，，，，，，，最新一些 AI 的论文以及它的事情偏向也都是怎样用 AI 的方法去学习它的衣服。。。。。在这内里我们可以看到，，，，，，，这些基本的轮廓以及基本的衣服，，，，，，，它是能够去学习到的，，，，，，，能够展望到的。。。。。可是一些细节的，，，，，，，好比手指以及手指更细节的一些轮廓，，，，，，，在单视角的重修上面照旧保存一定的局限。。。。。以是在这一点上，，，，，，，我们也是希望能够通过加一些其他的计划举行优化，，，，，，，能让单视角天生的计划越发富厚，，，，，，，让它最后泛起出一些更好的效果。。。。。

薛富侨（W3C）：AI 驱动的 XR 内容天生，，，，，，，现在有没有什么商业的使用案例或者工业标准化需求？？？？？？

刘聪：事实上，，，，，，，在这个历程中我们提到两点，，，，，，，一个是通过 AI 方法天生这些内容，，，，，，，在这些内容评价系统内里，，，，，，，现在来看这些 AI 的论文以及 AI 这一类型盘算机图形学、图像学，，，，，，，对 XR 内容评价标准以及评价系统，，，，，，，暂时还处于一个很是初期阶段，，，，，，，也并不是很完善，，，，，，，这是我们希望推动去做的。。。。。另外一个就是，，，，，，，由于它的三维数据天生出来事实照旧一个较量大的数据，，，，，，，像前面几位讲者也提到它的传输以及它的时延，，，，，，，能不可通过 5G 方法实现更快速地去加载以及渲染这些内容，，，，，，，无论是视频数据也好，，，，，，，照旧三维模子、动画数据也好，，，，，，，能不可在这上面做一些事情，，，，，，，这也是我们希望跟工业界列位一起去做的事情。。。。。

除此之外，，，，，，，你适才提到的第二点就是商业化的偏向，，，，，，，我们现在有跟一些三维打印以及古板的领域，，，，，，，包括教育培训领域去做一些相关的探索与实验。。。。。包括刚刚提到的，，，，，，，我们主推的照旧一个编辑和创作的平台，，，，，，，跟一些高等院校做一些实验，，，，，，，让他们的先生通过这样的方法快速地建设教学培训场景的 XR 内容，，，，，，，宣布到各个终端上面去，，，，，，，用于培训教学。。。。。

王子韬：华为在做无障碍相关的场景下，，，，，，，会有响应的一些诉求，，，，，，，关于 AI 辅助实物，，，，，，，这部分适才您也先容到了，，，，，，，类似于交响乐团的时间可以资助识别乐器。。。。。响应的这部分纷歧定完全是对三维内容，，，，，，，或者视觉内容上有多高的要求，，，，，，，在一些视觉障碍人士情形下，，，，，，，他可能会通过手机，，，，，，，通过照相的这种方法来请 AI 资助他来识别现在他想要熟悉的这个内容，，，，，，，通过其他的方法，，，，，，，好比说音频或者触觉也好、声音也好，，，，，，，能给他先容他想要感知的内容。。。。。以是这部分我感受也是一个潜在的时机，，，，，，，后面也希望咱们这边可以就 W3C 无障碍相关的内容思量潜在的应用场景。。。。。

刘聪：好啊，，，，，，，谢谢。。。。。你适才提到的这一个也是我们希望做到的下一步的事情，，，，，，，适才都是从图像图形层面驱动 XR 内容的天生。。。。。但好比多模态的一些内容，，，，，，，像语音、文本等这一类型的数据能不可作为驱动 XR 内容天生的方法以及要领，，，，，，，我以为这有很大的探索空间，，，，，，，以是我们也很期待跟华为无障碍团队的先生一起相助探讨这件事情。。。。。

王子韬：群聊里中国移动许先生提了一个问题，，，，，，，讨教您演示远程协助项目是通过网页实现的吗？？？？？？有没有对客户端装备有甚么要求？？？？？？

刘聪：这套远程协助系统是在终端上实现的，，，，，，，通过终端交互，，，，，，，能够把一些远程传输的镜头或者空间标注，，，，，，，这样一些三维数据能够传输到用户的扩展现实终端内里。。。。。在这个上面，，，，，，，现在做的实验还没有放到网页的效劳内里，，，，，，，由于之前试了，，，，，，，可能是由于时延等一些缘故原由，，，，，，，它的效果并不是很好，，，，，，，以是我们照旧思量用终端在做。。。。。

黄亚坤：远程协助的时间，，，，，，，这个主要是基于 AR 盘算在终端上面，，，，，，，纵然我们不基于 Web，，，，，，，我们基于移动装备的话，，，，，，，似乎算力照旧不太够，，，，，，，第一个是做实时有功耗，，，，，，，尚有时延，，，，，，，就这两个问题现在来讲做这种天生挺难的吧？？？？？？你这种协同的话，，，，，，，若是往端侧走的话，，，，，，，功耗是较量大的一个问题。。。。。用一会儿，，，，，，，手时机发烫的，，，，，，，这个问题我不知道你们这边有没有较量好的解决计划。。。。。若是我接纳一些压缩网去做，，，，，，，精度又不可，，，，，，，或者说关于天生的工具又保存一个障碍。。。。。我不清晰现在这一块有没有较量好的解决计划？？？？？？

刘聪：在端侧盘算的时间，，，，，，，若是我们思量天生，，，，，，，在端侧做天生的话着实是远远不敷的。。。。。这内里最大的问题照旧在于网络以实时延，，，，，，，未来在 5G 情形内里，，，，，，，由于在这内里我提到所有的 AI 天生的内容和效劳都是放在云端去做盘算的，，，，，，，在端侧它只需要实时渲染出来，，，，，，，端侧做的一些感知交互，，，，，，，好比像左边这个图内里，，，，，，，箭头可以传输出来，，，，，，，这个没有问题，，，，，，，可是重大的三维模子以及数据确实会泛起发烫的情形，，，，，，，这个我们之前也有测试过。。。。。以是我们在这个案例内里，，，，，，，暂时也没有把天生的一些内容放到这个系统内里去做。。。。。只是希望未来能够把这些工具买通，，，，，，，能够团结起来。。。。。

虽然优德官网有其他的中心也在做相关的事情，，，，，，，他们主要是做一些网络的优化，，，，，，，通过 AI 的方法让这些 Web 的内容自顺应地去泛起，，，，，，，自顺应地渲染，，，，，，，自顺应地获得更好的效果，，，，，，，他们也在做这样的事情，，，，，，，未来我们也希望跟他们一起探讨，，，，，，，往这样的偏向举行一些探索。。。。。

* 本文由 W3C Web 中文兴趣组整理（https://www.w3.org/2021/07/chinese-ig-xr/minutes.html#t06）

【网站地图】【sitemap】