“狗粮”AI化！Netflix数据科学家教AI 识别电影中的接吻场景

直通硅谷

虽然视频中的目标识别技术发展迅猛，但在场景检测方面却落后了许多。最近，Netflix 的高级数据科学家埃米尔·齐艾发布了一项新的研究，用 AI 识别电影中的接吻场景，这项技术看似无聊，但对于视频行业却有着重要的意义。同时，这也是齐艾在斯坦福大学人工智能领域的一项研究课题。

埃米尔·齐艾在接受记者采访时表示，利用传统的视频处理技术，很难检测出接吻场景。因为机器在识别时很容易混淆，当两个人物的头部靠得很近，比如说话、近身时，机器就很容易误报。

齐艾的研究是基于一个2.3TB的好莱坞电影数据库完成的，这个数据库涵盖了几十年间的各种电影类型。埃米尔·齐艾说：“我选取了其中100部电影，标注了其中的接吻片段和非接吻片段，并用这些时长从 10 秒到 120 秒不等的片段训练了一个多模态神经网络，该神经网络能辨别音频和图像上的秒特征。培训这些模型的主要挑战有两项。一是我必须确保自己已经注释了一组具有代表性的训练示例，这些示例将有助于对不同的电影集进行概括。二是在视频上培训深度学习模型，可能会非常耗费资源。”

尽管如此，埃米尔·齐艾还是克服了挑战，完成了这一壮举。最终，该接吻场景识别工具被证明拥有惊人的准确度。该系统采用两阶段流程。首先，它使用一个二元分类器，利用从静止帧和声波中提取的特征来预测接吻是否发生。然后，它将“连续非重叠片段”的二进制标签聚合到一组接吻场景中。经测试，这套系统识别接吻场景的准确率可达 95%。

但是，当该模型遇见电影里一些比较“棘手”的场景时，它仍然有很多需要提升的地方。例如，演员接吻的广角镜头有时会让算法感到困惑，因为大部分镜头都是由背景风景组成的。此外，快节奏的视频剪辑和没有人物出现的亲吻情节也会让该系统无法判断。

实际上，埃米尔·齐艾并不是唯一一个对人工智能识别接吻场景感兴趣的人。最近，谷歌也推出了其照相工具上的一项新功能，当智能手机识别出相框中的对象正在接吻时，它就会自动拍照。

齐艾表示，像接吻探测器这样的系统可以用来自动为电影添加元数据。而元数据可以用来检索相关的代码片段。例如，视频编辑器可以使用此类元数据快速找到相关片段，并加快电影编辑的进程。这预示着未来的应用程序可以自动对视频内容进行分类，为观众创建个性化的视频推荐，甚至可以作为在线内容审核的一部分屏蔽掉某些视频。

题外话，对此感兴趣的同学，可以在论文《Detecting Kissing Scenes in a Database of Hollywood Films》中了解更多信息。