传统上，Adobe MAX上最有趣的会议之一是Sneaks主题演讲，公司各个部门的工程师在此展示他们最前沿的工作。有时，这些变成产品。有时他们没有。如今，很多工作都集中在基于Adobe Sensei平台的AI上。今年，该公司为我们提供了有关Sweet Sweet Talk项目的早期信息，这是今晚活动的重点内容之一。

这里的想法很简单，但是很难实现：拍摄肖像，无论是绘画还是绘画，识别面部的不同部分，然后与画外音同步地对嘴进行动画处理。如今，Adobe的Character Animator(您可能已经在与Stephen Colbert一起在《 The Late Show》等节目中看到过)做到了一些，但是动画数量有限，即使是最好的动画师，结果也无法做到。总是看起来很逼真的(在产品中为动画制作的图纸尽可能)。Sweet Talk项目要聪明得多。它分析画外音，然后使用其AI智能工具对角色的嘴和头进行逼真的动画处理。

由Adobe研究人员Dingzeyu Li领导的团队，与周扬(美国麻萨诸塞大学)，Jose Echevarria和Eli Schectman(Adobe Research)一起，将他们的模型实际投放了数千个小时的真实人与摄像头交谈视频YouTube。出人意料的是，该模型确实很好地转移到了绘画上，即使与团队合作的面孔(包括漂亮的动物面孔基本图纸)看起来并不像人脸。

李说：“动画很难，我们都知道。”“如果大家都知道，如果我们想将面孔与给定的音轨对齐，则难度会更大。AdobeCharter Animator已经具有一项功能，可以从场景音频中获取'计算唇形同步'，”它向您展示了局限性”。Character Animator中的现有功能只能移动嘴巴，而其他所有东西保持静止。那显然不是很现实的样子。如果您看一下这篇文章中嵌入的示例，您会发现团队自动地巧妙地变形了脸部，使它们看起来更逼真-全部来自基本的JPG图像。

因为它确实可以使脸部变形，所以Project Sweet Talk不能很好地处理照片。他们只是看起来不正确-这也意味着没有必要担心有人滥用此项目来获取深造品。李告诉我：“要生成逼真的深层假象，需要大量的训练数据。”“在我们的案例中，我们只关注可以从图像预测的地标，而地标足以使动画动起来。但是在我们的实验中，我们发现仅靠地标不足以产生逼真的[动画上]的照片。”

从长远来看，Adobe可能会将此功能内置到Character Animator中。李还告诉我，构建一个实时系统(类似于今天的Character Animator中的功能)在团队的优先级列表中排在首位。