一、赛道介绍

总决赛亚军为CSIG FAT-AI 2023 人脸活体检测挑战赛(简称：CFAT 2023)的冠军团队 — 杭州魔点科技有限公司。该赛道旨在进一步提升防欺诈的人脸活体检测技术在实际应用中的安全性、可靠性，促进产学研深度融合发展，为各类复杂场景下算法的部署应用和性能优化提供科学指导依据。赛题要求对人脸真伪进行判断，即判断视频或图像中捕获的人脸是来自一个真实的人脸，还是来自照片或面具伪装的人脸。复赛测评数据来源于开放场景，为非公开数据集，对算法的泛化性能力极具挑战性。

二、团队介绍

       杭州魔点科技有限公司是一家专注空间智能的创新型科技公司，致力于人工智能技术科研与落地，基于融合感知人工智能技术，打造全球领先的”硬件智能“和“场景智能”产品体系，为办公、教育、园区、酒店、社区等行业提供软硬一体的场景化解决方案。

三、参赛方案

图 1 Big-Face算法示意图

魔点算法团队提出了一个通向域不变性人脸活体检测的新范式，简称为Big-Face。Big-Face新范式是将泛领域大模型理论迁移至垂直领域。这个创新想法启发于LLM大语言模型，比如GPT3[1]的预训练范式。团队认为可以为人脸活体检测、人脸质量等下游任务构建一个人脸基础大模型。具体地，首先应用自监督学习和vision transformer网络预训练一个人脸基础大模型，用来挖掘人脸通用表征；然后针对下游活体检测任务微调这个人脸基础大模型。

如图1所示，算法分为两个学习阶段。第一阶段即为预训练人脸基础大模型的过程，应用去负样本化的自监督学习方法，代理任务（pretext task）是最大化同一张图像局部视角和全局视角的特征相似度；第二阶段是基于预训练好的人脸基础大模型的监督和半监督微调过程，在半监督过程中应用的是课程式样本挖掘方案，逐步将无标签的样本加入到训练过程中，充分利用有限的数据。如图2，在初赛阶段，自监督学习在Big-Face范式中的关键性作用得以验证，它可以为基线（baseline）模型提供很好的人脸通用表征，贡献了惊人的25个百分点提升；在复赛阶段，团队利用一系列技巧以强化算法的跨域不变性，包括cyclic周期性学习率，半监督学习调参，以及增大网络和调高正则化drop path比例等。

图 2 初赛、复赛模型增长曲线

回顾参赛技术方案选型，关于不采用活体检测领域的SOTA算法原因，魔点算法团队在竞赛前期也做了大量的分析工作。第一，参考分类监督、辅助信息像素级监督、生成式像素级监督这三类SOTA级活体检测算法在WFAS[2]基准中的评估结果，具备良好视觉可解释性的生成式像素级监督LGSC[3]算法的综合表现最佳，但是其主要优势体现在跨呈现形式 (cross-type)协议中，与CFAT2023挑战赛的跨数据域 (cross-domain) 场景不符；第二，团队认为目前包括LGSC[3]在内的生成式像素级监督算法有定义层面的缺陷，围绕攻击线索（spoof cue）的建模方式意图最小化真人脸样本中的攻击线索，学习的是离散的负样本特征，而负样本呈现形式是不断迭代和增长的，模型很难形成可落地的跨域不变性。而最小化假人脸样本中的活体线索，学习的是紧凑的正样本特征，在算法定义上更加合理，并且在团队内部的实验中已经初步完成了实验证明。

四、总结与展望

魔点科技算法团队认为本次挑战赛胜出的关键在于深入的赛题分析和对前沿技术的探索。比赛的落幕意味着一段新征程的开始，在未来，团队将继续探索人脸领域的大模型范式，不仅仅是活体检测，在等实际应用中提升人脸质量研判、人脸属性、人脸识别等各个人脸下游任务的泛化性。

参考文献

[1] Brown T B, et al. Language Models are Few-Shot Learners. 2020. arXiv.2005.14165.

[2] Dong Wang, et al. Wild Face Anti-Spoofing Challenge 2023: Benchmark and Results. CVPRW 2023.

[3] Haocheng Feng, et al. Learning Generalized Spoof Cues for Face Anti-spoofing. 2020. arXiv.2005.03922.