CG渲染之《欢迎来到马文镇》脸部表情捕捉

《欢迎来到马文镇》，大大提升了数字人类的艺术。我们与导演Robert Zemeckis和视觉特效总监Kevin Baillie谈到了角色动画的显着进步。
这部电影讲述了一个残酷袭击的受害者如何找到一个独特而美丽的治疗出口来帮助他完成恢复过程的故事。这导致演员的46分钟创新数字角色动画像玩偶一样的动作人物。值得注意的是，演员的“英雄”娃娃版本在屏幕上的吸引力如何，以及团队如何成功穿越Uncanny Valley。
Robert Zemeckis认为，“在这部电影中，我们终于找到了如何真正做CG面孔，以确保情感完全转化为阿凡达”。他认为，“它接近于完美。它真的很棒。它只是需要研发。它花了一些时间，它花了一些非常有才华的人，一些试验和错误，但最后，我们在电影工具箱中得到了另一个工具，我们可以用来讲述有趣的故事“。 电影的想法始于八年前。在早期，Zemeckis并不是100％肯定他将如何制作这部电影，“但是当剧本开发时，技术先进。当我们到达我们制作电影的地方时，这一切都在一起“。
他指出，从某种角度来看，“整体性能捕获一直是一个马力问题”。在使用不同的动作捕捉（MoCap）角色之前，导演已经完成了几部电影，但没有像他在这部电影中那样在技术上取得成功。 电影技术
鉴于Zemeckis在具有尖端技术的电影中讲述情感故事的令人难以置信的历史，人们常常向导演询问技术的进步。许多导演的电影都处于先进电影制作技术的最前沿。例如，《谁陷害了兔子罗杰》，《阿甘正传》，《回到未来》，《超时空接触》和动作捕捉领域，《极地特快》和《贝奥武夫》。然而对于Zemeckis而言，将这些电影与其他具有较少视觉效果的电影区别开来是错误的 - 因为所有电影都是复杂的技术事业。
“对于一个演员而言，没有什么比一个特写更荒谬了。他的脸上有一大块玻璃。你正在看一块哑光盒子上的一块胶带。没有其他演员你可以任何一个演员，也在现场，都在20英尺外，他们用相机拍摄他们的线条。然后有一群技术人员，他们的肚子挂在外面，围着镜头，演员或女演员必须提供最感性的电影的时刻。当你想到它时，这非常荒谬，“Zemeckis指出。“然而就是那个时候每个人都说，'噢，我的上帝，看看那个表演， - 它真的如此'，但它是在一个完全不真实的环境中完成的。电影一直是技术性的。它是一种技术艺术形式，这个任何地方都有任何现实的想法 - 除非你正在制作一部纪录片...... - 没有什么是真实的！它从未如此“。
性能捕获
Zemeckis认为MoCap与黑匣子剧院类似，演员没有服装，没有化妆，只有折叠椅，演员们在舞台上演出并创作表演。Zemeckis说好演员喜欢MoCap流程。“他们对这个过程非常热心，因为他们所有必须一整天都在行动，”他说。由于MoCap通常不需要特殊照明，相机取景和遮挡，因此没有理由停止动作重置，因此MoCap会话可以更少地中断演员进程。“他们不必担心打击他们的标记。他们不必担心焦点。他们不必担心一遍又一遍地进行场景覆盖。他们从一开始就开始扮演一个场景。结束了。他们像一个戏剧一样在一个场景中踱步。
“性能捕捉技术将所有内容都集中在性能和电影技术的暴政上 - 不得不做一个不自然的特写， - 必须达到这些标记， - 不得不担心这是否会有很好的表现，因为焦点问题...... - 所有这些东西都消失了。一切都只是关于性能“。
有点讽刺的是，对于Marwen来说，导演发现自己拍摄了一个混合解决方案，即用MoCap捕捉表演，但他们也在使用演员面孔的Alexa镜头。与普通的MoCap不同，在Marwen MoCap工作室中，DOP必须准确地点亮演员，并解决帽子的阴影，时间，反射和反射光等问题。
演员在这个过程中
在MoCap，通常不需要头发，化妆品和衣柜。“我曾与一大群华丽的演员一起从事表演捕捉工作，当演员捕捉表演时，唯一抱怨的是没有服装。他们喜欢这样，他们喜欢打扮并找到他们的角色。他们喜欢这样，他们确实这样做。“评论Zemeckis。“例如，在Polar Express中，Tom Hanks演奏了四个不同的角色，他必须为每个角色佩戴相同的MoCap紧身衣，它永远不会改变。唯一改变的是前面的小名称标签。对于他的过程，Tom为每个角色都想要一双不同的鞋子，所以每个角色对他来说都会有所不同。我觉得这很有趣“。
对于Marwen MoCap来说，衣柜是灰色的MoCap西装，化妆和帽子等关键道具很重要。由于演员面临部分使用，DOP花费了大量时间进行前期制作照明解决方案。帽子或道具的任何阴影或灯光效果都需要与MoCap数据一起在视觉上捕捉。 他们是如何做到的呢？
视觉特效总监Kevin Baillie曾与Robert Zemeckis合作过很多电影，导演解释说：“我和很多工作人员一起工作，特别是我的关键人物，他们非常有才华，我和他有很好的关系。我总是尝试保留他们，因为有一个速记很好，而且不必从每部电影的方形开始“ 凯文·贝利（VFX sup。原子小说/现在的方法工作室）很早就加入了电影之前，进行了一些电影测试。对于这样的测试，该团队探索了试图在巨型场景上拍摄真人演员的道路。他们测试了用娃娃部件增加演员，在肘部和膝盖上安装关节等。这也涉及数字化将演员的轮廓塑造成更具英雄性的玩偶形状，与第一个队长中“瘦瘦的史蒂夫”的行为类似。美国电影。
Atomic Fiction对Steve Carell做了几次广泛的测试。主要测试是Carell的2000帧性能，未在电影中使用。“我们匹配将这些玩偶关节移到他身上，看起来很可怕”Baillie回忆道。“就像有人穿着高端的万圣节服装，它看起来完全傻了。我们被困在那一点。我们知道直接的MoCap不起作用，增加现场动作镜头是行不通的，但在我们放弃之前，我们头脑风暴可能的解决方案”。由于该团队已经有一个完整的史蒂夫凯瑞身体轨道，他们决定尝试一些非正统的想法。“我们认为我们有2000帧跟踪，这实际上是一个演员的'假动作捕捉'。而不是用玩具零件增加史蒂夫卡瑞尔，我们用Steve Carell的零件增加了一个数字娃娃？这是电影的'Aha时刻'，我们首先尝试使用史蒂夫的真实眼睛和嘴巴。“团队部分扭曲并重新投射演员面对他的数码娃娃然后匹配照明。”就像，'哇，这项工作，它读起来就像一个人类的表演'。史蒂夫的表现完全清楚，但它看起来也非常可信，作为一个玩偶“。经过这次测试，这部电影得到了绿色照明，并且主要拍摄的方法也得到了改进。它读起来就像是人类表演'。史蒂夫的表现完全清楚，但它看起来也非常可信，作为一个玩偶“。经过这次测试，这部电影得到了绿色照明，并且主要拍摄的方法也得到了改进。它读起来就像是人类表演'。史蒂夫的表现完全清楚，但它看起来也非常可信，作为一个玩偶“。经过这次测试，这部电影得到了绿色照明，并且主要拍摄的方法也得到了改进。 这不只是面对面。
解释方法的问题在于它暗示最终的结果只是Carell的眼睛和嘴巴跟踪到玩偶，但这个过程在现实中更复杂。
任何演员面孔的玩偶版本不是1：1匹配。每个娃娃的设计都是他们相关演员双倍的不同比例的“英雄”版本。这意味着不仅具有更清晰的特征，而且通常具有更薄的头部，具有不同的骨骼结构。“史蒂夫的娃娃有一个更锋利的下颚线，略小一些，而且它更加对称”，Baillie解释道。“这些女性脸部较小，纽扣鼻子较多。每个演员都需要不同的处理方式。我们不能在所有角色中使用任何形式的公式。每个人都是一个定制的设计解决方案，成功地看起来正确，因为他们的玩偶改变了自我。”
角度和跟踪的匹配需要非常准确，需要精确跟踪整个面部。与许多常见的面部捕捉管道不同，演员无法佩戴头部装备，因为需要不间断的脸部镜头。此外，无论是复杂的工作，CG娃娃脸仍然需要动画与真正的演员完全相同的表达和唇同步。如果演员说话，他们的大部分脸都会受到影响 - 这不仅仅是他们的嘴巴或眼睛。在任何表演中，他们的下巴，脸颊，眉毛和前额都会发生巨大变化。在没有头戴式摄像机（HMC）的情况下进行匹配并不容易。
对于要重新定位并与数字玩偶一起使用的任何实景素材，它还需要具有相同的照明。不仅仅是方向相同，照明需要相同的光线质量。例如，将用柔和区域灯拍摄的实景拍摄到用尖锐阴影照亮的玩偶脸上看起来是错误的。
最后，想象眼睛和嘴巴作为补丁简单地在CG脸上进行编程是错误的。镜面和数字化妆（包括疤痕）等各种传递必须巧妙地融入现场动作。“最终，为了让投影方法得以发挥作用，我们发现不仅头部的角度必须非常精确地匹配，而且脸部本身的底层动画必须非常紧密地匹配，因为我们不能只是投射演员在数字头上的镜头“解释了Baillie。最终解决方案使用了几个组件。“我们必须在投影的平板摄影之上使用底层CG渲染的通道，以使其具有光滑的光泽并确保它看起来不像穿着西装的人”。没有这种层次，'娃娃'版本并不总是看起来塑化。“这很棘手，因为我们使用的是实际的面部镜头，我们无法拍摄演员，后来扫描他们的头说线，也没有使用头部凸轮装备”。 在上面的这些图像中，中间图像表示使用大部分实时动作的位置。从照明，疤痕和数字化妆中可以清楚地看出，这些区域不仅仅适用于玩偶，而是采用了复杂的分层方法。该解决方案将NUKE中的数字投影与“娃娃皮肤效果”的多次传递相结合，以获得最终结果。
了解和匹配
为了成功点亮演员并提供任何镜头的正确最终外观，PreViz需要比通常需要的更详细。Zemeckis还希望让演员能够自由行动，而不是被锁定在MoCap舞台上的规定性和限制性选择中。
特别重要的是能够准确地点亮previz。此外，还有一个双人vfx团队正在调整UE4中的灯光，以匹配拍摄过程中灯光的变化或发生的变化。如果DOP需要一个额外的眼光，（没有在previz中预测），他可以自由添加它，UE4团队将在虚幻引擎中设置动态匹配它。因此，实时动作和UE4可视化这两个版本始终匹配且有效。
如果虚幻引擎无法实时匹配照明，那么捕获的镜头（在MoCap舞台上的Alexa上拍摄）对于最终镜头来说是不太可能的。 演员的面孔必须尽可能地与最终影片中的内容一致，在MoCap期间使用面部镜头，所以演员们在蓝色舞台上，穿着灰色的MoCap西装，没有任何特写参考面部相机。“制作底层面部动画所需的过程需要我们在项目中为每个演员构建一个完整的FACS装备，并且在我们在假想的玩偶世界中度过的整个46分钟内，所有的面部都会动画关键帧”，Baillie评论道。娃娃面部动画由传统角色动画师完成，完全是关键框架。 由于团队制定了新的方法，整个过程变得更加灵活，而不是线性传统的vfx管道。
每次拍摄都设置了NUKE comp模板。这使得原子小说的合成者在使用口腔或脸部的方式上占了70％，但是仍然由合成者决定他们是否使用了嘴边的褶皱或者演员眉毛的多少包括在内。“他们需要确定我们包括多少衰老？”评论Baillie。“我们从CG渲染中重新塑造了多少规格以塑造演员？每一个镜头都需要定制的爱以确保我们保留演员的灵魂，这正是鲍勃（Zemeckis）继续回归：'我不觉得史蒂文这个镜头的灵魂，或者我没有感受到Leslie Mann的灵魂”。然后原子小说的团队将不得不回过头来弄清楚为什么会这样。“任何两个镜头之间的解决方案很少相同。有时，它会拉动更多的面部特征，有时甚至更少。其他时候它是”a三度跟踪不匹配的头部角度或关键光线摆动得有点太远。所有这些事情都会完全打破这种错觉“。对于Baillie和他的团队来说，合成中最大的惊喜就是这种方法对照明的敏感程度。”如果我们不能完全匹配MoCap舞台上的照明，它就会破坏完全相同的“。这就是为什么详细的'制作Viz'或电影的实时游戏版本，模仿集合，天空和区域灯，对这个过程至关重要。
将整个过程结合在一起的复合的复杂性是至关重要的。合成完全在NUKE以及KATANA的照明和渲染中完成。comp团队不仅在角色和相机阻挡方面发挥了巨大作用，而且在管理镜头的焦平面方面也发挥了巨大的作用。结合PIXAR的RenderMan研发团队，Atomic Fiction的团队设法找到了一种可变焦距平面或“焦点窗帘”的方法，使得合成器能够像传统相机一样保持人物面部对焦。不允许。就像现实世界的屈光度一样（在类固醇上），Marwen相机可以调整整个画面的焦点。
在下面的场景中，所有主要的女性玩偶都可以在与镜头不同的距离处聚焦，但仍然在我们与微缩模型相关联的浅景深的外观内。 Marwen的数字角色工作具有创新性，令人印象深刻，并且在未来几年无疑会影响未来项目的方式推动CG面部重新定位。
注意：Atomic Fiction现在是Method Studios的一部分。
本文翻译自：https://www.fxguide.com/featured/why-mawrens-face-tech-is-so-brilliant/