龙源期刊网 http://www.qikan.com.cn
生物特征识别系统的多模态和多生物特征融合的研究
作者：裴伦鹏 高健
来源：《现代信息科技》2018年第05期
摘 要：本文基于ISO/IEC TR 24722：2015《信息技术—生物特征识别—多模态和其他多生物特征融合》，针对当下单一生物特征识别技术的局限性，对多模态和其他多生物特征识别技术及其分类进行了研究，给出了通用的多生物特征识别系统模型，比较了不同生物识别特征呈现方法，并对不同生物识别特征的相关性进行了探讨。 关键词：信息技术；生物特征识别；多模态
中图分类号：TP391.41 文献标识码：A 文章编号：2096-4706（2018）05-01-03 Research on Multimodal and Multi Biometric Fusion of Biometrics System PEI Lunpeng，GAO Jian
（China Electronics Standardization Institute，Beijing 100007，China）
Abstract：This paper is based on the ISO/IEC TR 24722：2015“information technology—biometric identification—multimodal and other multi biological feature fusion”. Aiming at the limitations of the present single biometric identification technology，this paper researches on the multi-modal and other multi biological feature recognition technology and its classification，and gives the universal multi biological feature recognition system model. This paper compares different biometric feature presentation methods and discusses the correlation of different biometric features. Keywords：information technology；biometrics；multimodality 0 引 言
随着信息技术的不断发展，生物特征识别技术已经被广泛地用于金融支付、个人多重身份认证排查和航空安全检查等领域。对于某些生物特征识别具体的应用场景，我们现阶段还很难通过使用单一生物特征识别技术来满足它们对身份识别技术性能的要求。
利用完全的生物特征识别传感器、不同的识别算法或多种生物特征类型采集得到的多模态生物特征测量数据，通常可以提高生物特征识别的技术性能并降低风险。也就是说性能水平的提高并不完全需要获取所有的生物特征测量值，而是接受/拒绝阈值的整体决策下仅根据任意数量的生物特征测量值即可得到识别结果。
龙源期刊网 http://www.qikan.com.cn
多模态生物特征识别系统为众多生物特征识别系统类型中的一种，特点在于各模态对应各自不同的测量方法并给出一个分数值。实现分数级的结果融合，通常需要生物特征的真实与虚假分布信息，比如：在一个手机的移动支付场景中，使用指纹和本地验证作为前置验证，而使用人脸识别作为后置验证，通过这一方法，我们可以根据生物特征的真实与虚假信息的分布，提升手机移动支付的安全级别。
ISO/IEC TR 24722：2015《信息技术—生物特征识别—多模态和其他多生物特征融合》[1]给出了描述和分析多模态和其他生物特征融合的概念以及方法，讨论了建立多生物特征识别系统的必要性、可行途径及其标准化。
本文以ISO/IEC TR 24722：2015为基础进行了相应的研究。 1 多模态和其他多生物特征识别系统的概述
多模态或多生物特征识别通常是指以某种组合形式使用多生物特征类型、多传感器、多实例或（和）多算法，并得到一个特定的生物特征识别或验证结果。多样本、多匹配分数或多匹配决策的组合方法可以非常简单也可以特别复杂。
多生物特征识别的概念出现于20世纪70年代，并在当时已完成部署和测试。那时，融合方法被视为未来生物特征识别系统必须满足的一项需求。
人们广泛认为，多生物特征融合方法不仅可以通过降低错误接受率来提高安全性，而且可以通过降低错误拒绝率来提高使用便捷性。不过，在当时看来这些多模态系统无法投入实际应用。
然而，始于20世纪80年代的指纹自动识别系统（AFISs）之所以成功获得大规模推广应用，多生物特征融合概念及其相关方法的提出功不可没。至今为止，多模态技术仍没有真正用于AFIS系统。然而标准中讨论的大多数已经成功实现的融合方法仅使用了指纹数据的融合。AFISs中采用的部分融合方法如下：
——图像（AKA样本）融合：由扫描设备上的一系列平压图像生成单一的“滚动”图像； ——提取每幅指纹图像的多重特征进行模板融合； ——多实例融合：融合十根手指的指纹； ——多呈现融合：融合滚动和平压指纹；
——面向高效率（成本、计算复杂度及吞吐率）的算法融合；比较器一般用作计算复杂度逐渐递增的一系列过滤器，作为决策和分数级融合的混合实现；
龙源期刊网 http://www.qikan.com.cn
——面向高精度（降低错误接受率/错误拒绝率，将敏感度降至低质量数据级别）的算法融合；匹配器与分数融合并行使用。
融合方法能提高精度和效率，从而得以促成指纹自动识别系统的应用。
迄今为止，多生物特征识别研究的重点在于改善错误接受率及错误拒绝率。也可以提高识别技术的可用性、安全性或精确度。此外，多生物特征识别旨在降低无用户配合的生物识别系统（如：视频监控系统）的注册失败率。多生物特征识别在即使只获取所需生物识别特征样本子集的情况下也能做出识别决策。
为进一步阐明多生物特征各类别之间的区别，表1说明了这些类别之间本质上的差别。关于各类识别技术其融合对象的关键设计以加粗方式表示。
（1）多特征类型。从单一或多个传感器捕获两个或更多不同的生物识别特征模态的生物特征识别系统。例如，一个结合人脸和虹膜信息的生物特征识别的系统可看作是一个“多特征类型”系统，无论人脸和虹膜图像是否由不同的成像设备采集。不过，并非一定要将识别方式进行数量上的组合叠加。例如，一个结合声音和指纹识别的系统可看作是“多特征类型”，即使完成识别只需要用到其中任意一种模态特征类型。
（2）多算法。通过一个传感器采集样本，使用两个或两个以上算法进行样本处理。这种技术可以应用于任何特征类型。其理论上最大的好处是利用了完全不同且原理的多种算法。例如，生物样本的特征提取（指纹与手指细节）或比对方法（比对细节的不同算法）。 （3）多实例。使用一种或多种传感器获取同一生物识别特征的两个或更多不同的实例。例如来自不同手指的图像应被称作多实例（而不是多模态）。然而不同的采样对象，如面部和虹膜图像序列帧应被称作多呈现（而不是多实例）。
（4）多传感器。使用两个或多个不同的传感器采集一个生物识别特征的相同实例。此处，多样本的处理可采用一种算法或多种算法的融合。例如，人脸识别可以使用可见光和红外摄像机，并配合特定频率（或多频率）的红外光源。
针对具体应用，需考虑和权衡许多系统设计方面的内容，如性能改进因素（例如，识别或验证的准确性、系统速度和吞吐量、鲁棒性和资源需求）、接受度、法律规避、易用性、运营成本、环境适应性和群体弹性。
对于一个大型的人脸识别系统尤其如此，系统设计方面要考虑的更多，如运维、可靠性、系统购置成本、生命周期成本以及系统对已识别常见攻击手段的预定响应。这些都会影响系统的整体部署。[2]
2 通用多生物特征识别系统模型
龙源期刊网 http://www.qikan.com.cn
图1给出了通用多生物特征识别系统的模型。除了在特别说明的地方，该模型均以3个不同特征类型下的样本（P1，P2，P3）为例进行阐明。模型顶层给出了生物识别特征。根据系统设计，系统支持两种生物特征呈现方法：（1）同时，（2）依次。
特征呈现方法（同时或依次）不同于融合过程本身。此处之所以提到融合方法，目的在于列出可能会影响多生物特征识别系统设计的各方面。 3 同时呈现
（在成功捕获前提下的）同时呈现提供从单次采集事件中获取的多生物模态下特征样本（例如，从相同摄像头采集的人脸和虹膜数据）。同时采集设计常用于以增加复杂度（同步样本采集）或牺牲易用性（双传感器交互，用户多任务处理）为代价的高吞吐量应用场景。 4 依次呈现
依次采集是从相互的事件中的一个或多个特征类型下获取生物特征样本。文献中讨论的依次采集可应用于三个方面。其一为多实例，它利用一个主体的单个生物模态中两个或两个以上的实例，如指纹（左手食指）+指纹（右手的食指）。此例中，单个指纹阅读器依次使用两次。其二为多特征类型，使用一个或多个传感器采集一个主体的多个不同生物模态，如依次采集手形+人脸特征数据。其三为多传感器，使用两个或多个的传感器获取一个主体的相同生物特征。为了避免与多模态混淆，可以从两个或多个传感器分别获取生物特征，因此多传感器被看作“单模态多传感器”。例如，人脸识别：红外光谱，可见光谱，二维图像，三维图像；指纹识别：光，电和声学传感器。 5 相关性
多模态生物特征识别系统中，融合的信息可能在多个不同层次相互关联[3]，如下例所示：
（1）特征类型之间的相关性：这里是指存在物理相关性的生物特征，如用户的声音和唇动；
（2）相同生物特征样本的相关性：多算法系统中，相同的生物特征样本（例如，指纹图像）或生物特征样本的子集（例如，声音。整个样本由一个算法处理，样本的一部分由另一个算法处理）对应不同的特征提取与对比算法（例如，细节比较器和纹理比较器）； （3）特征值之间的相关性：构成不同特征类型的特征向量其特征值的子集可能相互关联。例如，用户手掌（手的几何形状）的面积可能与人脸的宽度相关联；
（4）由普通操作流程引起的实例相关性（例如，普通的采集设备和操作员培训）；
龙源期刊网 http://www.qikan.com.cn
（5）由于主体行为引起的实例相关性（例如，两个眼睛佩戴彩色眼镜）。 然而，为了确定相关联的程度，需要检查此融合方案下关于匹配器的匹配分数（或接受/拒绝决策）。多分类器系统[3]已证明融合不相关的分类器能够显著提升匹配性能。
对于融合方案中两个精度合理的分类器，同一主体的匹配分数可能相关但并非必须相关。因此，对分类器错误之间相关性的描述更为恰当[4]。相关系数pnc定义如下：
其中n是被测分类器的个数，N是序列总数，Ncf是阈值为C时，所有分类器错误输出的序列数目，Nct是阈值为C时，所有分类器正确输出的序列数目（注：此公式与决策级下计算错误相关性有关）。 6 结 论
生物特征识别多模态和其他多生物特征融合除了考虑上述内容，还需考虑组合层级以及用于多生物特征识别系统的特征化数据的内容。现阶段生物特征识别多模态和其他多生物特征融合的标准正在制订中，有些内容还需在实际应用中验证。但感知信息融合以便进行决策的方法对其他领域的应用有借签作用。 参考文献：
[1] 国际标准化组织ISO/IEC TR 24722：2015.信息技术—生物特征识别—多模态和其他多生物特征融合 [S].技术委员会：ISO/IEC JTC1/SC37生物识别技术，2015.
[2] G.L.Marcialis and F.Roli. Fusion of LDA and PCA for face recognition [EB/OL].[2002-05-28].https：//link.springer.com/chapter/10.1007%2F3-540-47917-1_4. [3] 识别技术研究中心.生物特征模态性，进度报告 [R].2004.
[4] K. Goebel，W. Yan，and W. Cheetham. Method to Calculate Classifier Correlation for Decision Fusion [C].IEEE，2002.
作者简介：裴伦鹏（1980.12-），男，汉族，山东滕州人，工程师，硕士。研究方向：信息技术与标准化研究；高健（1967.10-），男，汉族，北京人，高级工程师，本科。研究方向：信息技术与标准化研究。
