您现在的位置:首页 > CSR > 正文

皮克斯如何使用AI和GAN来创建高分辨率内容

来源:| 2021-12-09 14:02:18

随着数字动画制作人员不断突破技术和创造力的界限,支持它们的技术团队正在转向人工智能和机器学习,以提供所需的工具。皮克斯(Pixar)就是这种情况,该公司在机器学习方面取得了新的突破,希望能够提高质量并降低成本。

皮克斯动画工作室(Pixar Animation Studios)技术总监Vaibhav Vavilala在认真研究了最近的科学文献并监视了母公司迪士尼的研发实验室的工作之后,一直在领导其中的一些工作。Vavilala说,这些进展有可能在生产的某些阶段将Pixar的数据中心占地面积减少一半。

Vavilala在VentureBeat的Transform 2020会议上的演讲中发表了自己的看法。

近年来,Vavilala曾在可可,超人特工队2和玩具总动员4等皮克斯电影的照明和渲染优化团队中工作。但是几年前,他开始关注“深度学习超分辨率”这一概念。Vavilala和皮克斯(Pixar)的合作者Mark Meyer发表了一篇技术论文,详细介绍了他们的工作。

Vavilala在演讲中解释说,数字动画行业面临的主要挑战是在高分辨率(例如2K或4K)下渲染动画的时间和成本。

他说:“以2K分辨率渲染一帧通常至少需要50个CPU小时,”他说。“对于90分钟的电影,我们每秒渲染24帧,并且随着艺术家的迭代,渲染多次镜头。此外,我们在给定时间放映多部电影。所有这些加在一起导致对渲染场的大量需求,而渲染场是一种有限的资源。如果我们以更高的分辨率(例如4K)进行渲染,那将是像素的四倍,而成本则要高出一倍以上。”

实际上,随着当前系统的发展,动画师和技术团队之间发生了一些猫捉老鼠的游戏,因此解决此问题变得很复杂。

他说:“随着更好的技术使渲染变得更便宜,艺术家通常会试图通过突破更多的灯光,更多的几何形状,更多的雾度和更复杂的照明等创造性界限来吞噬这些收益,”他说。“所有这些通常会导致更长的渲染时间。当然,永久需要更多内容。因此,仍然有创新的空间可以使渲染更便宜。”

这导致Vavilala进入了深度学习的超级分辨率。实际上,该技术将使动画师以较低的分辨率创建其作品,然后机器学习系统会将其“放大”为较高的分辨率。

为了发展这个想法,Vavilala设置了PyTorch开发环境,然后准备了带有Nvidia GPU的Linux实例。然后,他的团队开始使用来自最新皮克斯电影的高分辨率和低分辨率图像来训练系统。

教系统正确地填充诸如光和颜色之类的细节是很棘手的。因此,该团队求助于生成对抗网络(GAN)以帮助改善结果。

GAN是一种机器学习,其中两个神经网络互相作用以产生所需的结果。通常,这包括用于样本的生成器,然后包括鉴别器,该鉴别器识别差异以最终使两个图像协调一致。

在Pixar的情况下,将高分辨率渲染从其渲染场转移到其单独的放大系统上会产生有趣的效率提升。

Vavilala表示,最新模型表明,当以1K渲染图像,然后转移到第二个系统放大到2K时,工作室可以节省渲染场处理空间的50%至75%。他希望这项技术可以在未来的产品中使用。

他说:“要想达到接近生产就绪的水平,就需要进行大量的试验和迭代。”

最后,瓦维拉拉说,皮克斯在这一领域的实验为其他行业的公司提供了一些教训。

“促进冒险在你的组织文化,”他说。“我在皮克斯(Pixar)的观察之一是,人们在电影制作的早期就??对新技术和实验持开放态度。但是一旦进入生产阶段,我们就会专注于稳定性,并尝试避免技术中断。如果您可以在冒险和经过实践检验的流程之间找到平衡,那么您就可以成功地进行创新,并且可以避免混乱。”

(编辑:互联网 作者:互联网)

分享到:
版权申明

凡本网注明“XXX(非公益之声)提供”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和其真实性负责。

特别关注

新闻排行

资讯推荐

  • 莫里森公司将在冠状病毒大流行中立即

    莫里森将立即为其规模较小的供应商付款,以在持续的冠状病毒大流行期间帮助他们。四大杂货商表示,在英国经济困难时期,更快的付款将支持他们的现金流...

    2021-12-09

  • Target通过提供带薪休假的方式应对CO

    Target希望宣布正在采取的两项新举措,以帮助正在进行的COVID-19大流行期间一直处于前线的团队成员。首先,这家位于明尼阿波利斯的零售商至少在5月2日...

    2021-12-09

  • 零售领域的无人机交付时代终于到来了

    零售领域的无人机交付时代终于到来了,但实际上会带来什么呢?最近几周,Walgreens和CVS都启动了“按需入库”按需无人机交付的历史性飞行员。...

    2021-12-09

  • 显示零售应用市场蓬勃发展全球领先的

    2019-2025年零售应用市场工业增长预测报告显示:全球零售应用展示市场报告详细分析了市场细分,规模和市场动态;服务提供商,投资者,利益相关者和主要...

    2021-12-09

  • 斗破苍穹:女儿登场美杜莎女王迁怒萧

    萧炎为救药尘而身受重伤自从药尘被魂殿抓走之后,萧炎心心念念的就是要把师父救出来,他也是为了寻找异火提升自己,才会答应去参加丹会,却误打误撞的...

    2021-12-09