心理所创建第三代高生态效度的深度微表情数据库CAS(ME)3

作为重要的非语言交流线索，微表情可以揭示一个人的真实情绪状态。随着深度学习方法在微表情分析领域的蓬勃发展，微表情分析的发展得到了关注。然而，心理学和人工智能的研究均受到了微表情小样本的限制。

近期，中国科学院心理研究所微表情应用研究中心建立了CAS(ME)³数据库，该数据库是一个大规模、自发的微表情数据库，包含了样本的深度信息，并且具有高生态效度，有望引领下一代微表情分析的发展。数据规模对于基于人工智能的微表情分析十分重要。CAS(ME)³提供了约80小时的视频，超过800万帧，包括1109个人工标注的微表情和3490个宏观表情。CAS(ME)³的大样本量可以有效进行微表情分析方法验证，并避免数据库偏差。CAS(ME)³的亮点之一是数据库中的样本包含深度信息。引入深度信息这一模态的灵感来自于基于人类视觉感知的微表情识别心理学实验。受试者被要求观看2D和3D微表情视频，并回答关于视频的情绪价值、情绪类型和情绪强度的三个问题。受试者在观看3D视频的情况下，反应时间更短、强度评分更高，这表明深度信息可以促进个体对微表情的识别。在证明了深度信息对人类视觉感知的有效性后，研究团队继续进行智能微表情分析的工作，并且证明了在深度信息的帮助下，算法对微表情的连续变化更加敏感。

CAS(ME)³的另一个亮点是它的高生态效度。在微表情诱发的过程中，研究者优化了采集环境，设计了模拟犯罪的诱发范式，使之尽可能接近现实。此外，在数据采集的过程中，研究者同时通过摄像机和可穿戴设备收集视频、语音和生理信号，包括皮肤电活动、心率/指尖脉搏、呼吸和脉搏等。实验表明，高风险场景（如犯罪）中的被试比低风险场景（如无罪）中的被试泄露更多的微表情。这种高生态效度的样本为真实场景中微表情分析和情绪理解提供了基础。在算法层面，缓解微表情小样本问题的手段之一是无监督学习。作为无监督学习的一个研究方向，自监督学习已经成为热点。使用额外的深度信息或更多的微表情帧来生成标签并构建微表情分析的自监督学习模型是自然的一种设想。CAS(ME)³提供了1,508个无标签的视频，超过4,000,000帧，搭建了基于无监督学习的微表情分析的数据平台。

心理所傅小兰研究员带领的研究团队此前已经发布了三个微表情数据库：CASME、CASME II和CAS(ME)²。这些数据库被来自50多个国家的600多个研究团队申请试用，并且超过80%的微表情分析文章至少使用了其中一个数据库进行方法验证。基于CAS(ME)³与之前的CASME系列数据库，未来有望出现基于自监督学习和基于深度信息、生理和语音信号的多模态微表情分析研究。

相关研究成果发表在IEEE Transactions on Pattern Analysis and Machine Intelligence上。研究工作得到国家自然科学基金、中国博士后科学基金和国家重点研发计划的资助。

论文链接

微表情样本：RGB图像和深度信息（Part A – spNO.216：AU R1+R2，惊喜）