2023年10月29日，在加拿大渥太華舉辦的ACM國際多媒體會議（ACM International Conference on Multimedia，ACM MM）上，188bet亚洲体育博彩及真人
機器人實驗室情感計算團隊（USTC-AC）奪得雙人交互麵部反應生成挑戰賽（The REACT 2023 Multiple Appropriate Facial Reaction Generation Challenge）冠軍。
圖1 REACT2023挑戰賽獲獎證書
本次挑戰賽是雙人交互麵部反應生成任務的第一次國際競賽，比賽要求參賽隊伍根據說話者的音視頻數據，開發機器學習模型為聽者生成合理的麵部反應作為回應。不同於以往的隻需要唯一結果的識別或預測任務，此次REACT競賽中要求參賽模型能夠對相同輸入生成多樣的反應，因而最大的挑戰是在生成反應的合理性（appropriateness）和多樣性（diversity）間取得平衡。
我院情感計算團隊提出了統一 Transformer 模型（Unified Transformer for Facial Reaction Generation, UniFaRN）建模說話者和聽者的交互過程，采用跨模態自注意力層和跨任務前向傳播層融合交互雙方的人臉、姿態和語音等多模態數據，學習同一向量空間中的多模態表征，並在此基礎上生成聽者的麵部行為。比賽中，UniFaRN模型在多樣性和合理性兩方麵表現優良，奪得第一名。
圖2 UniFaRN 聽者麵部行為生成框圖
圖3 模型性能對比圖，其中紅色為我團隊結果
本次參賽隊伍由王上飛教授和陳小平教授指導，計算機學院的梁聰（隊長），唐冰，王佳禾，張浩繁和黃俊善共5名隊員組成。建模人類的交互過程是實現自然人機交互的關鍵，此次獲獎展示了我院在情感計算和人機交互領域的學術水平。
圖4 USTC-AC 參賽團隊成員
