AI技术使老电影像“翻拍”了一样

赞
利用卷积神经网络和最先进的图像识别技术，可以使旧电影经典再次重现。神经网络处理图像，降低噪声，并为老化的图像应用鲜艳的色彩。
第一部电影创作于十九世纪晚期，celluloid摄影胶片与电影摄像机配合使用。
作为娱乐，文化和社会服务，电影是一项非常重要的传统文化。特别是考虑到现代电影以数字方式制作和放映的，celluloid磁带逐渐消失。

电影保存面临的挑战

包括欧盟委员会在内的众多组织都强调了保护老电影文化遗产的挑战和重要性，欧盟委员会指出，缺乏适当的老化技术设备可能使观看旧电影成为不可能。
通过恢复电影，第一个挑战是消除扭曲。经典通常以低分辨率录制，而原始录像带明显老化并充满噪音和裂缝。此外，从celluloid胶带到数字格式的过渡过程通常会损坏影片，并导致质量的降低。
通过使用AI驱动的解决方案，特别是监督学习技术，deepsense.ai的团队从数字化版本的电影中删除了裂缝和黑点。我们制作的模型使用在电影上训练的深度神经网络，手动添加裂缝和缺陷用于训练目的。有一些原始和破碎形式的电影，系统学会了删除缺陷。
神经网络可以处理和恢复彻底损坏的影片并使其再次辉煌。当图像变暗和模糊以至于人眼几乎无法识别电影中的人时，网络开始产生低质量的预测。

如何将真正的旧电影转换为高清

应用类似的训练技术来提供用于改善旧电影质量的神经网络。我们的目标是提供缺失的细节，并将分辨率从高级质量“提升”到高清质量。
关键的挑战在于重现细节，这几乎是不可能的。由于技术发展，人们很难观看比他们习惯的低质量视频。
该模型通过缩小高清电影进行训练，然后进行监督训练以提供缺失的细节。
由于训练数据的广泛可用性，该模型表现良好。团队可以缩小任何电影的分辨率，为模型提供原始版本，让神经网络学习如何“伪造”并将缺失的细节加入到电影中。
关于提供高清版旧电影的一个关键误解是神经网络将从原始电影中发现缺失的细节。事实上，没有办法收回丢失的细节，因为最初影片资料中并没有。神经网络使用相同的技术生成它们。使用相同的技术和类似的生成对抗网络。
但实际上并非真实的细节，如果材料用于法医研究，这可能是一个挑战（或问题）。但是，当涉及为娱乐或文化目的提供电影时，这种技术绰绰有余。

着色旧电影

另一个挑战来自制作电影经典的彩色版本，从技术上为新观众恢复它们。这个过程由艺术家长期处理，每个帧都应用颜色。以这种方式着色的第一部电影是英国无声电影“The Miracle”（1912）。
因为有无数彩色电影可供使用，提供丰富的训练集，深度神经网络可以大大减少恢复黑白经典所需的时间。然而，这个过程并非完全自动化。事实上，在黑白电影上加上色彩是一项艰巨的任务。以迪士尼的“Tron” 为例，拍摄的是黑白两色，然后由来自台湾的Cuckoo's Nest Studio的200名墨水和画家着色。
在选择颜色时，神经网络往往会发挥其安全性。当网络将水误解为草地时，这可能是一个问题的例子。这样做是因为田地比湖泊更常见的是在电影中作为背景出现。
通过手动将彩色像素应用于单个帧，艺术家可以建议AI模型应选择的颜色。当拍摄黑白电影时，没有办法确定演员穿着的围巾或衬衫的真实颜色。经过这么多年，它还重要吗？在任何情况下，神经网络都采用LAB颜色标准，利用亮度（L）来预测剩余的两个通道（分别为A和B）。

转录和面部识别

抄录对话使分析和研究变得更加容易 - 无论是用于语言学还是文化研究目的。使用面部识别软件，该解决方案可以将所有传递的信息归因于正确的角色。
语音到文本功能处理声音并转录对话，而另一个网络检查视频中的哪些人的嘴唇动了。当与图像识别结合时，模型可以同步字幕并提供角色或演员说话的内容。
虽然正在制作的内容需要受到监督，但它仍然大大减少了转录所需的时间。以传统方式，转录不仅占用记录时间，而且需要进行验证。这台机器会在几秒钟内录制一部长达一小时的电影。
总结
使用基于机器学习的技术来恢复电影比其他方法花费更少的时间和精力。它还努力保护文化遗产更加成功，并确保电影保持相关性。商业界机器学习获得了巨大的认可，但ML的技术仍然是文化和艺术需求的新方式。

长按订阅更多精彩▼

如有收获，点个在看，诚挚感谢