显着提升 NVIDIA GPU 的性能

在深入探讨 Gigapixel AI v6.1 的主要面部恢复功能改进之前,我想指出,拥有包含 NVIDIA GPU 的计算机的用户将体验到显着的性能改进。我们将用于 NVIDIA GPU 的库从 DirectML 优化到 TensorRT。虽然这将需要 NVIDIA GPU 用户重新下载 Gigapixel AI 模型,但性能提升将使这项任务完全值得。这是使用 DirectML 和 TensorRT 比较 NVIDIA RTX 3090 性能的基准测试。如您所见,性能提升是显着的。

千兆像素 AI:不仅仅是提高照片分辨率

尽管您可能已经阅读过,但并非所有升级方法都会产生相同的结果。提高照片的分辨率所涉及的不仅仅是改变其像素尺寸。几乎在每一种情况下,保留放大的照片中主体的细节(如果不是更重要的话)同样重要,也许没有比照片中人物的面部特征更重要的细节要保留了.

这就是我们使用 Gigapixel AI v6.1 对 Face Recovery 模型进行重大更新的原因,该模型最初是作为 Face Refinement with Gigapixel AI v5.8 引入的。在深入探讨您的放大照片将如何从面部恢复中受益之前,我首先想从更广泛的意义上讨论放大照片,并说明为什么 Gigapixel AI 是可用的最佳解决方案。

如何在不损失质量的情况下升级照片

在讨论数码摄影的升级时,我们通常指的是增加照片的分辨率或尺寸的过程,您需要升级照片的原因有很多。也许照片的原始版本已经是低分辨率,您需要增加它以打印大型海报。另一种常见的情况是,您必须对照片应用大量裁剪,这有效地降低了分辨率,并且您想再次增加它。无论您为什么需要放大照片,Gigapixel AI 都将提供卓越的结果,同时保留(和增强)重要细节。

这是一个实际示例,说明为什么您需要放大照片以及为什么使用 Gigapixel AI 是该任务的明智选择。今年早些时候,我去旅行拍摄了冬季经常在该地区筑巢和觅食的秃鹰。尽管使用了 100-400 毫米长焦镜头和 1.4 倍增距镜,但这是我能最接近这只鸟的镜头。

尽管我很喜欢这种构图,但我认为在 Instagram 上分享并不理想(这是数码照片最常见的用例之一)。不幸的是,我当时唯一可以访问的照片版本是长端的 2000 像素,我嵌入在上面。在应用方形裁剪以隔离老鹰后,生成的分辨率为 611 x 611 像素,转换为约 0.37 兆像素,不符合 Instagram 建议的 1080 x 1080 像素分辨率。

此时,最好的解决方案是将照片放大到更合适的位置。因为我不确定我最终需要一张放大照片来做什么,所以我倾向于使用 6 倍或 600% 的因子,这将产生 3666 x 3666 像素或 13.4 兆像素的分辨率。这就是选择正确的软件的关键所在。

与 Gigapixel AI 相比,最常见的应用程序之一是 Adob​​e Photoshop,我们已经介绍了它如何产生更详细和更自然的结果。但是,这里是使用 Gigapixel AI 与 Adob​​e Photoshop 2022 进行 600% 升级的比较。如您所见,Gigapixel AI 结果的改进立即显而易见。

既然我们已经确定了 Gigapixel AI 如何通过您的升级要求使您受益,我想深入探讨 Gigapixel AI v6.1 引入的人脸恢复模型的重大改进。

面部恢复功能强大的人像照片升级

在放大低分辨率照片时,用户期望有一个特定的内置质量阈值,并且它会根据被放大的主题而有所不同。例如,您可能对正在升级的建筑物的低分辨率照片有一个阈值。只要细节清晰可辨,我们往往会对结果感到满意。

在放大一张有人物的照片时,这个门槛要高得多。部分原因可能是因为与照片中的人(或多人)的个人联系,特别是如果你在照片中。另一个原因是,低于标准的面部特征放大会导致照片“崩溃”的速度比建筑物高得多。人类特别擅长判断一个人的脸部什么时候“看起来不太对劲”,就好像它掉进了恐怖谷一样。

这就是为什么进一步改进我们在 Gigapixel AI v5.8 中首次引入的人脸优化模型如此重要的原因。在深入探讨我们如何改进人脸优化模型之前,我想向您展示在将人脸优化模型(使用 Gigapixel AI v6.0)与新的人脸恢复模型(使用 Gigapixel AI v6.0)进行比较时,通过肖像照片的改进。 1 个测试版)。乍一看,您可能会争辩说,在放大这张人像照片时所做的改进是值得称赞的,尤其是当您将其与原始图像进行比较时。Gigapixel AI 轻松消除了所有令人分心的噪音,同时恢复了大部分面部细节。然而,关于右眼和牙齿的某些东西会导致观看者进行双重拍摄,因为某些东西“看起来不太正确”。

现在,当您使用 Gigapixel AI v6.1 中完全相同的设置以及新的人脸恢复模型比较完全相同的图像时,改进会立即显现出来。更重要的是,观看者会看到放大的照片,而不会去思考是否有“看起来不太对劲”的问题。与以前的 Face Refinement 模型相比,结果要自然得多,并且与 Adob​​e Photoshop 或任何其他类似的照片放大软件相比,它的结果是在其联盟中。

面部细化(Gigapixel AI v6.0)与面部恢复(Gigapixel AI v6.1)

微调人脸恢复模型

除了改进整体人脸恢复模型外,我们还添加了一个新的人脸恢复强度滑块,可让您微调模型的强度。在较低的设置下,与周围区域相比,面部的降噪和锐化应用较少。在更高的强度下,面部会明显更清晰,更清晰。我建议从 100 开始,并根据需要降低强度。让我们比较几个级别的“面部恢复强度”滑块以查看改进。

面部恢复强度:0

面部恢复强度:50

面部恢复强度:100

当您增加“面部恢复强度”滑块的值时,面部细节的增量改进会变得更加明显,尤其是在眼睛和牙齿周围,因此请务必在使用“面部恢复”模型时进行试验。

面部恢复模型的工作原理

面部恢复模型的主要目的是恢复可能受到低质量照片负面影响的各种面部特征,例如那些遭受高度压缩、嘈杂、伪影、抖动或模糊的面部特征。幸运的是,我们能够通过采用全新的深度学习过程来改进以前的 Face Refinement 模型,并通过使用大量高质量人脸库来训练新的 Face Recovery 模型。

当您激活人脸恢复时,每张检测到的人脸都会被调整为 512 x 512 像素,然后由模型使用对象增强(眼睛、牙齿等)进行处理,最后相应地调整大小、混合和定位。这些对象增强是基于使用上述高质量人脸库的训练确定的。

恢复的面部特征的改进通常以更明确的细节呈现在瞳孔、睫毛、头发和皮肤纹理上。当与额外的降噪和锐化相结合时,与原始照片相比,放大照片的整体效果通常会得到显着改善。

使用面部恢复的建议

当您回顾我在本文中分享的所有照片示例时,您发现它们有什么共同点吗?每一张都是一张或多张脸在整体构图中相对较小的人的低分辨率照片。只需查看上面每张照片的导航视图(UI 的右上角)中白色焦点框的大小。此外,由于分辨率低,一些人脸会出现过多的噪音或其他质量下降。

当对一张面部占据大部分画面的高分辨率或高质量照片进行放大时,我们建议禁用面部优化并选择最合适的基础超分辨率模型以增加像素大小。比较视图使这项任务特别容易,因为它允许您同时比较四个模型。

让我们以下面的肖像照片为例。如您所见,女孩的脸占据了画面的大部分。您可以通过查看 UI 右上角导航器中的完整图像来判断这一点。在这个启用了面部优化的示例中,您会注意到模型过度平滑了女孩的皮肤和眼睛。

当您比较使用低分辨率模型和禁用面部优化的同一张照片时,您会立即看到整个面部都有明显的改善。皮肤看起来很自然,眼睛增加了完美的清晰度。

随着我们继续使用较大人脸的照片训练人脸恢复模型,我们将提高提供卓越结果的能力。

回顾一下,我们建议对包含明显质量问题(例如高度压缩、嘈杂、伪影、抖动或模糊)影响的面部的低分辨率照片使用面部恢复模型。对于已经具有令人满意的细节量的面部,我们建议禁用此工具并使用五种基本超分辨率模型之一。我们还建议将“面部恢复强度”滑块设置为 100,并根据需要降低强度。

你可在此处免费下载:https://www.jruol.com/4060/12/