今日,快手在2020年中国国际数码互动娱乐展览会(简称ChinaJoy)上,率先发布了基于5G网络的云端渲染技术。该技术以短视频业务场景为依托,为用户提供了趣味性的体验。本次快手提供了驯龙高手、二次元变身两项展示。这两项展示具备沉浸感强、体验效果逼真的特点,受到了广大参会者的追捧。

本次快手展示的云端渲染技术,充分发挥5G高带宽、低延迟的优势,释放云端强大的计算能力,克服本地算力不足的缺点,达到云端实时渲染、5G低延迟传输、本地即时展示的目的。

图为驯龙高手应用效果示意

为了给用户提供好莱坞级别的视觉体验,驯龙高手综合应用多项自研技术,包含基于物理的实时渲染(Physically Based Rendering)、对真实世界的仿真物理模拟、基于体素的流体建模与渲染系统、大规模GPU粒子系统、YCNN推理引擎。多项先进技术和大量次时代资源的使用,导致本地设备无法提供足够的算力与存储空间。而5G技术的到来,使云端模拟成为可能,解决了上述问题。百万面同屏、真实光影效果、华丽的粒子特效、纤毫毕现的毛发模拟、逼真的交互体验、高精度的AI推理,画面流畅细腻、特效精致震撼,为短视频特效行业树立了标杆。

图为二次元效果对比图

二次元变身是基于CycleGAN、UGATIT等框架而实现的,快手在实践中对于算法鲁棒性、模型效果、数据准备效率、时序稳定性等进行了优化和升级。服务端的全图二次元技术,支持人像、背景、多人效果。通过端云协同的技术方案,服务端运算的结果以直播下发的方式展示,为用户提供更清晰、质感的二次元转换。

为了更好的适配5G网络,快手音视频部门自研了网络传输协议和实时编解码技术,采用快手自建的SDN网络,通过基于UDP协议的高清视频低延时通信技术,实现本地采集视频云端处理的实时回显。把用户在手机上采集到的视频实时发送到云端,利用服务器强劲的硬件资源进行渲染,再把渲染结果实时发送到用户手机进行显示。

快手云端渲染系列技术,充分将移动终端与服务器的硬件能力相结合,实现较为复杂的运算,未来将充分挖掘5G网络的应用价值,在视频内容生产、直播、小游戏等应用场景中将发挥重要作用。