A survey on Gait Recognition

Changsheng Wan, Li Wang, and Vir V. Phoha. 2018. A Survey on Gait Recognition. ACM Comput. Surv. 51, 5,
Article 89 (August 2018), 35 pages.
https://doi.org/10.1145/3230633

介绍

步态表现出一个人的行走方式。步态识别是指通过人的行走方式来对其进行身份验证[5]。早期的医学和心理学研究[6-8]表明,人的步态有24种不同的成分,可以用来识别个体。以前的工作研究表明,附着在个体关节上的光点可以用来表示人类的运动,而点光源显示器可以用来区分人类的活动[10,11]。以上工作表明,每个个体都有独特的肌肉骨骼结构可以用来识别他/她[7]。因此,步态识别是可行的。传统上,基于步态的身份认证是通过对人体运动视频的分析来研究的。然而,由于装有加速计和陀螺仪的智能手机能够通过加速计和陀螺仪捕捉步态模式,这为基于步态的身份验证开辟了一个新的维度。此外,机器学习的广泛应用和进步提高了精度。本次调查旨在对基于步态认证的研究进展和实践状况进行全面、最新的研究和分析

步态识别的独特性

步态识别有一些其他生物特征学所缺乏的独特特性[10,12]。首先,人类的步态可以在远离个体的地方被捕捉到。相比之下,其他生物测定系统[13–18]要求个人靠近生物测定数据采集器或与其物理接触。这一有利特征具有重要意义,而其他生物特征,如指纹,则无法捕获[19]。其次,步态识别可以在低分辨率下完成。当获取的视频分辨率较低时,其他生物识别系统(如人脸识别)可能无法正常工作。在这种情况下,需要使用步态识别[20]。第三,步态识别可以用简单的仪器来完成[12]。摄像头、智能手机中的加速计、地板传感器,甚至雷达都可以用来采集人体步态。第四,不需要人的配合就可以进行步态识别。相比之下,其他生物特征识别技术(如指纹)则要求个人将手指放在传感器上进行数据采集。第五,步态特征很难被模仿。这是因为步态识别通常使用人体轮廓和活动。如文献[10]所述,这一性质对于犯罪分析非常重要。第六,在隐藏人脸图像等特征的情况下,步态识别仍然能够很好地工作。很容易隐藏一个人的脸,但很难隐藏人类的动作[10]。

动机

由于步态识别具有许多独特的特性,近20年来备受关注。已经对步态识别做了一些调查[5,21-23]。这些调查报告见表1。然而,这些论文存在以下问题:(1)现有的论文只调查了几十篇研究论文,很多重要的论文没有被收录。(2) 现有的调查是在近10年前进行的,最近的许多论文都没有进行调查。(3) 目前国内外的研究主要集中在基于摄像机的步态识别系统上,而对其他步态识别系统的研究还很有限。尽管Gafurov[5]提到了使用地板传感器和加速度计的步态识别系统,但他忽略了各种步态识别系统概念的引入。Nickel[24]在2012年的博士论文中回顾了大约35种基于加速度计的步态识别系统。她介绍了这些系统中使用的传感器和数据集,并列出了相同的错误率。然而,对这些基于加速度计的系统中所使用的各种技术的分析没有给出。

本文在五个方面不同于以往的调查。

  • (1) 我们包括超过100篇步态识别论文,这些论文在之前的调查中没有讨论过。
  • (2) 本文介绍了步态识别系统中的关键技术,包括数据采集、特征表示、降维和分类。
  • (3) 我们增加了对步态识别系统公开数据集的引用。
  • (4) 我们强调影响步态识别系统的环境因素。
  • (5) 同时,我们列出了步态识别系统中的开放性研究问题。

本文的其余部分组织如下。第二部分介绍了步态识别系统的结构和发展历史。第三节介绍了步态识别系统中的数据采集过程,并介绍了用于采集步态数据的传感器。在第四节中,我们综述了步态识别系统中的特征表示方法。第五章分析了步态识别系统中的降维机制。第六章介绍了步态识别中的分类算法。在第7节中,我们讨论了步态识别系统的公开数据集,这些数据集可用于评估新设计的步态识别系统。在第8节中,我们讨论了基于步态的生物特征的脆弱性。在第9节中,我们展示了环境因素如何影响步态识别系统的准确性。在第10节中,我们将讨论未来的工作,并强调步态识别中存在的问题。最后,在第11节中,我们得出结论。

HISTORY AND FRAMEWORK OF GAIT RECOGNITION

人们已经在步态识别领域工作了大约20年

典型的步态识别系统(图1)包括四个阶段,即数据采集、特征表示、降维和分类

数据采集模块是为采集人体步态数据而设计的。一般来说,人体步态数据是一组时空数据,包含了人体在一段时间内的活动。具体来说,人体步态数据可以通过摄像机、加速度计、地板传感器和连续波雷达四种方式采集。数据采集过程中采集的原始数据包含了人体步态特征。

特征表示。为了识别个体,步态识别系统必须从数据采集阶段采集的原始数据中提取步态特征。特征表示是特征提取的第一步,它将原始数据转换为特定的样式。对于基于视频的步态识别,主要有两种特征表示方法(基于模型/无模型方法)。例如,Lee和Grimson[37]将人体轮廓划分为七个部分,每个部分由一个椭圆拟合。然后,他们把这些椭圆的参数作为特征。这是一种典型的基于模型的方法。在第四节中,我们进一步讨论了特征表示方法。

降维。一般来说,在特征表示步骤中,从原始数据中提取的特征的维数要高于训练数据,这就导致了著名的欠采样问题。分类过程将会失败。因此,在分类之前,需要使用特征约简算法来提取有用的特征。降维方法有很多,如LDA和PCA等[38]。在第5节中,我们将进一步讨论降维方法。

分类。直接步态分类方法是最简单的步态识别方法,它不从步态序列中提取时间特征。相反,这种方法只是在步态序列中使用几个关键帧。另一种方法是利用步态时间序列的相似性来识别个体。近年来,基于HMMs的步态识别系统已经成功地建立起来。

数据采集

步态原始数据可以通过摄像机、加速度计、地板传感器和连续波雷达四种方式采集。下面介绍这四种步态识别系统。

Camera. 通常情况下,相机放置在距离拍摄视频对象几米远的地方。视频中包含了步态的原始数据,这些数据将被进一步处理以识别个体。

Accelerometer(加速度计)。当人们行走时,他们在三维空间中的加速度是不同的,这可以用来识别个体。通常,加速计传感器安装在人体上。在基于加速度计的步态识别系统中,加速度计记录个体的三维(X、Y和Z)加速度,并进一步用于识别个体。这种方法利用各种传感器(如加速度计、陀螺仪和力传感器)。

地板传感器。当人们走路时,他们的脚压力是不同的,这可以用来识别个人。Orr和Abowd[54]表明鞋类的影响可以忽略。Jenkins和Ellis[52]旨在从足迹中提取身体质量信息。

雷达。当人们行走时,人体各部分(如躯干、手臂和腿)的运动产生不同的多普勒信号,可用于识别个体[36]。

  • 在上述四种步态识别系统中,传感器被放置在不同的点上。例如,基于摄像机和雷达的步态系统将传感器放置在物体周围几米处,基于地板传感器的步态系统将传感器放置在地面,基于加速度计的步态识别系统将传感器放置在整个人体上。这种变化会导致在实际场景中的不同使用。
  • 不同的传感器产生不同类型的数据。例如,摄像机输出视频,地板传感器输出足部压力,加速计输出速度,雷达输出频率。这将在随后的识别阶段产生不同的过程。
  • 不同系统的平均错误率通常小于25%,正确分类率通常大于60%。请注意,这些数字是由各个研究小组计算的,并取决于他们使用的数据集。
  • 样本数量很少。这说明我们需要建立大规模的步态识别数据库。

特征表示

特征表示是数据采集后的第一步。不同的数据采集方法导致不同的特征表示技术。

基于模型的视频数据特征表示

基于模型的特征表示旨在对人体进行建模,并从中提取特征。基于模型的特征表示与尺度和视图无关。但这取决于视频质量[21]。文献[28]是第一种基于模型的特征表示方法。BenAbdelkader等人。[28]使用个体的结构步幅参数模拟人体。在参考文献[28]中,从用于识别个体的步态视频中计算两个参数,即以米为单位的步幅长度和节奏(每分钟步数)。大多数基于模型的特征表示方法都是为了对人体进行建模。例如,Yoo等人。[74]使用从步态中提取的九个身体点连接获得的二维棒状图形来建模人体。Boulgouris等人。[75,76]把人体也分成多个部分,他们主要研究每个部分对识别率的贡献的重要性。在对整个人体建模之后,基于模型的特征表示方法通常使用人体上的距离或关节角度进行步态识别。例如,Bobick和Johnson[77]使用四个距离(即左右脚、头-骨盆、头-脚和脚-骨盆距离)来模拟人体。Wang等人。[31]将人体分成14个部分,在每个部分使用关节轨迹来识别个体。他们还结合了Procrustes形状分析来提高识别率。Tanawongsuwan和Bobick[78]使用关节角模拟人体。他们从步态数据中提取关节角度,并利用关节角度的轨迹来识别个体。同时,由于人的腿在步态识别中起着重要的作用,一些研究集中在腿的模型上。例如,Yam等人。[44]模拟人的腿,并将其用于分析步行和跑步。在这项工作中,运行的识别率较高。Dockstader等人。[45]还模拟了人的腿,腿被表示为在一个点上连接的许多粗线。以及Cunado等人。[79]使用速度霍夫变换(VHT)[80]从腿部和运动中提取x牵引特征。表4总结了当前基于模型的特征表示技术。从表4可以看出:

  • 基于模型的特征通常包括人体上某些点的距离和角度
  • 基于模型的方案分类正确率一般在80%以上,平均错误率在10%左右。
  • 参考文献[45]中使用的数据集较大,而其他数据集较小。

基于无模型的视频数据特征表示

无模型特征表示旨在处理人体轮廓的整体运动或形状。无模型特征表示有两个主要优点。首先,它独立于视频质量[21]。这使得它能够部署在远离人类目标的地方。第二,它的计算量低于基于模型的特征表示。因此,无模型特征表示更受欢迎。然而,无模型特征表示有一个主要的缺点:它依赖于视点和比例[21]。例如,当视角改变时,步态识别率将如参考文献[81]中所讨论的那样降低。

加速度计数据的特征表示

本部分首先介绍了加速度计数据的两种主要特征表示方法,即基于步态周期的方法和基于帧的方法。然后,介绍了多个加速度计部署时特征的融合。

地板传感器数据的特征表示

除了体重特征(弱体质特征),可以从地板传感器数据(压力)中提取更多特征,例如步频和步幅长度[53]

雷达数据的特征表示

当接收机和发射机移动时,接收频率(Fd)不同于发射频率(Ft)。这叫做多普勒频移。

由于人体不同部位在行走过程中的速度v不同,利用短时傅里叶变换转换的雷达数据将构成一幅频谱图。从频谱图中,Tahmoush和Silvious[59]从雷达信号中提取步态识别的步速,分五步进行。在步态识别中,除了步幅率外,还使用了雷达散射截面(RCS)进行步态识别。此外,Otero[36]指出,多普勒信号主要由躯干和腿部的运动组成,而手臂的影响则不那么重要。最后,Wang和Fathy[58]指出超宽带多普勒雷达甚至可以获取静止人体的呼吸和心跳信号。

降维

降维方法用于去除不重要或不好的特征。它可以分为两种类型,即特征约简和异常点移除,如下所示。

特征约简

特征约简是一种能够去除一些无关特征以提高步态生物特征识别系统的有效性和效率的降维方法。有很多特征约简方法,如下所述。

  • Piecewise Linear Representation (PLR) 分段线性表示
  • Principal Component Analysis (PCA).注成成分分析
  • Linear Discriminant Analysis (LDA).线性判别分析
  • Discrete Cosine Transform (DCT). 离散余弦变换
  • I-vector
  • 步态识别的其他特征约简方法。还有几种特征约简方法。例如,为了解决样本不足问题(USP),Tao等人[117]提出了一种基于Gabor特征和广义张量判别分析的步态识别系统。Rani和Arumugam[118]使用改进的独立成分分析(MICA)提取和训练步态特征,这可以降低特征的维数。Ye和Wen[119]在模板提取过程中采用离散小波变换(DWT)来降低数据维数和滤除噪声。Mowbray和Nixon[120]使用Fourier描述符来降低数据维度。Huang等人。[121]使用规范分析来降低数据维度。Kale等人[8]利用帧间样本距离来降低数据维数。Bouchrika和Nixon[122]使用因子分析来降低数据维度。Lai等人。[123]讨论了几种特征约简方法,如稀疏双线性判别分析(SBDA)、广义张量判别分析(GTDA)和张量表示判别分析(DATER)。

异常值去除

异常值去除是几乎所有机器学习训练算法的一个组成部分。与特征约简(即删除一些不重要的特征)不同,离群点移除侧重于去除“劣质”信号。如参考文献[124]所示,异常值的去除非常重要,因为它将显著影响主成分分析的性能。异常值主要有四种:

  • 帧中的异常值。有些步态系统只利用人体的几个区域进行识别,其他区域可以作为异常值处理。例如,Mashagba[125]usedgm[101]用于将步态视频中的每个帧划分为脚踝、膝盖、臀部和异常区域。
  • 数据集中的异常值。数据集中的异常值是指异常步态序列。例如,Vera等人。[126]建立了六个不同的标准,以准确地找出数据集中哪些步幅波形可以被识别为异常值。
  • 一个步态视频中的异常值。一个步态视频中的一些步态周期,例如视频中的启动步态,可能与其他步态非常不同,并且可以视为异常值。例如,Wu和Krishnan[127]将大于或小于中值的两倍标准差的步态周期视为异常值。
  • 服装引起的异常值。当人们穿不同的衣服时,他们的部分轮廓可能与正常尺寸有很大的不同,并且可以被视为异常值。例如,Ghebleh和Moghadam[128]研究了同一个人穿着不同衣服的GEI。结果表明,服装影响行的距离值高于其他行的距离值,可以作为离群值处理。因此,作者使用阈值来检测和消除这些异常值。

分类

分类是步态识别系统的最后阶段。我们简要介绍了以下核心方法以及使用这些方法的研究工作:距离、相关性、机器学习、HMM和贝叶斯分类。

Machine Learning

  • SVM.
  • Decision Tree Ensemble Classifier.
  • Neural Network Classifier.
  • Deep Learning in Gait Recognition. 近年来,随着深度学习在图像理解、计算机视觉、自然语言理解等领域的成功应用,深度学习方法在步态识别中得到了成功的应用。深层学习结构,如卷积网络、深层神经网络和深层信念网络,递归神经网络具有多层神经元的特征,并且网络的不同部分学习不同的数据表示。深度学习的一个关键优点是不需要单独创建特征,因为训练机制可以从数据中找到有区别的特征。本文简要回顾了近年来深学习在步态识别中的应用。Alotaibi和Mahbub[144]开发了用于步态识别的深卷积神经网络的专门架构。它们使用八层:四个卷积层和四个子采样(池)层。他们的数据集包括124个多视图步态数据库,CASIA-B数据库[145]。他们的准确率高达87.80%。Yu等人。[146]基于多层自动编码器的u s e d o n e深度模型,用于不变的步态特征提取和由视图、衣服和携带条件引起的地址变化。他们在两个大型步态数据集(CASIA步态数据集B和SZU RGB-D)上取得了最新的结果。Sokolova和Konushin[147]利用光流实现步态识别的深度学习。他们比较了几种深层神经网络结构。卡斯特罗等人[148]使用使用光流的卷积神经网络自动学习步态特征。Xing等人[149]针对步态识别中的交叉视角问题,提出了一种基于三维卷积神经网络的视角不变步态识别方法。Gadaleta和Rossi[150]在基于智能手机的步态认证系统上使用深度学习。他们使用IDnet数据集,错误分类率小于0.15%。Giorgi等人[151]在175名佩戴身体惯性传感器的受试者的数据集上获得了高精度。Dehzangi等人。[152]设计一个深卷积神经网络,从扩展的步态周期中提取特征,并联合优化时空特征和识别模型,尽管它们只有10个对象,并将识别问题视为10类分类问题。准确率达97.06%。Zhao和Zhou[153]在角度嵌入步态动态图像(AE-GDI)中,利用惯性数据序列对步态进行二维表示。AE-GDI具有旋转和平移不变性。他们在麦吉尔大学和大阪大学步态数据集上取得了可比的性能。
  • Hidden Markov Model 隐马尔可夫模型
  • Bayesian Classification

DATASETS

为了评估和比较新设计的步态识别系统的效率,开发了公开可用的数据集。这些数据集描述如下。

video-based dataset

2001年,Chalidabhongse等人。[156]发布了UMD数据集。UMD数据集由两个外部行走数据集组成。在较大的一个,两个相机是正交放置在一个停车场收集步态数据,有55个人走T型。此外,此数据集还包括四个视图,即后视图、左视图、右视图和前视图。2002年,Phillips等人。[157]出版了国家标准与技术研究所(NIST)的数据集,也被称为人本数据集。NIST数据集由452个序列组成,这些序列来自74个人。在两台摄像机前,所有这些人都绕着一个椭圆走。步行时,改变了以下协变量:平坦的混凝土步行面和草地草坪面、性别、年龄、身高、体重、脚优势度、鞋子、鞋跟高度以及是否带公文包。2003年,Wang等人。[88]出版了CASIA数据集,其中数据集B的使用最为广泛。它包括来自11个视角的124个人和4种不同速度的步行方式。2004年,Kale等人。[8] 发布了CMU数据集。CMU数据集收集了25个人的步态数据。在一个3D房间里,作者在跑步机旁放置了6个彩色摄像机,用于步态数据采集,每个人都在跑步机上行走。有四种步行方式(斜面/快速/慢速步行和带球)。2005年,Sarkar等人。发表了南佛罗里达大学(USF)的数据集[82],其中包括从122个人收集的1870个步态序列。在摄像机前,所有这些人都绕着椭圆走。步行时,改变了以下五个协变量:有无公文包、左视点和右视点、两种不同的鞋型、两种不同的时间瞬间、草面或混凝土面。2007年,尼克松和卡特发表了两个步态数据集(大/小数据集)[158]。这个小数据集收集了12个人的步态数据。以不同的速度,所有的人都走在一条赛道里。散步时,以下三个协变量发生了变化:不带包、衣服和鞋子。大数据集比小数据集收集更多的步态数据。在大数据集中,行走时改变了以下协变量:六种不同的视图、内/外跑步机和内/外轨迹。

2014年,Hofmann等人。发表了TUM-GAID数据集[159]。GAID是一个多模态步态数据集,包括音频、深度和视频步态数据。这个步态数据是从305个人中收集的。

Accelerometer-Based Datasets

Floor-Sensor-Based Datasets

Radar-Based Datasets

VULNERABILITIES OF GAIT-BASED BIOMETRICS 基于步态的生物特征识别的脆弱性

在步态和面部生物特征的弱点方面有很多相似之处。例如,脸部和步态都可以在不知情的情况下从远处观察到。然而,与人脸不同的是,步态至少具有两个独特的特征:(1)它具有由步伐和周期组成的动态成分;(2)服装可以掩盖步态模式的变化。大多数关于欺骗(和反欺骗)的工作步态利用了这两个特点。几乎完全是,欺骗攻击基于步态的身份验证研究仅限于使用视频或使用传感器(特别是基于移动电话的传感器)身份验证的模式。即使在相同的模式下(基于视频或传感器的认证),不同的研究也有不同的操作环境。例如,不同的研究有不同数量的参与者和不同的攻击方式,例如通过匹配身体类型,通过匹配穿着的衣服,由受过训练的演员研究被模仿对象的行走模式,等等。我们非常简要地报告了这些研究。

基于视频步态认证的欺骗攻击

基于传感器的步态认证欺骗攻击

很难模拟

影响步态识别的环境因素

长时间间隔

长时间间隔对步态识别率有显著影响。如文献[171]所述,6个月后,步态识别率可从82%降至6%。Liu等人。[172–174]也表明,在步态识别中,长时间间隔是不可忽略的。

Clothing 穿着

服装可能会改变个体的步态特征并降低识别率[179]。例如,穿在个人身上的长外套会覆盖许多重要的特征。为了解决这个问题,Guan等人[179]设计了一种随机子空间方法(RSM),平均识别率达到80%。在这部作品中,Guan等人。将GEI[84]用于步态特征表示,PCA[180]用于GEI的预处理。最后,作者计算了随机子空间的相似性进行分类。最后,参考文献[181]是包含用不同的服装样本采集的数据的著名数据集。

Walking Speed

同一个人的步行速度可能不同。这种变化将大大降低识别率[182]。

Frame Rate

帧速率是影响步态识别率的另一个协变量因素[187]。解决这一问题的典型方法是使用相位同步技术[188],该技术可以将步态视频与不同帧速率进行匹配。然而,当通道和探头的帧速率都很低时,相位同步可能会失败。为了解决这个问题,Makihara等人。[189]提高了步态序列的帧速率,提出了一种时间超分辨率的方法。另一种解决方案[187]是从一系列步态图像中计算平均的单灰度图像,并使用该平均图像进行步态识别。最后,包含高帧速率和低帧速率数据的著名数据集是OU-ISIRD数据集[190]。

Multi-View 多视角

视角变化也会影响步态识别率[81]。处理视角变化的最简单方法是计算角度并使用该角度变换步态图像。

处理视角变化的最简单方法是计算角度并使用该角度变换步态图像。2000年初,Carter和Nixon[191]发现真物角(ɕ)、轨迹角(θ)、测量角(Ψ)和倾斜物角(α)具有以下关系:tan(ɕ)=tan(Ψ) / cos(θ) - tan(α) tan(θ)。然后,在2002年,Spencer和Carter[192]在文献[191]的模型中进一步引入了摄像机仰角。

后来,在2006年,Makihara等人。[193]设计了一种视角转换模型,解决了频域视角变化问题。该模型基于奇异值分解。以上所有的解决方案都是为了改变视角。观察到这一点,2011年,郑等人。[81]提出了一种基于主成分分析的视不变特征表示模型。

FUTURE WORK

关于步态识别的研究有很多。然而,很少有步态系统部署在实际应用中[21]。如下图所示,需要大量的工作。

首先,需要进一步开展性别确认工作。性别识别是一种利用步态特征的新型应用。它最近越来越受欢迎[76194]对高科技产业、法医学和医学的影响。但是,识别率需要提高,影响识别率的协变量需要检验。

其次,还需要进一步解决服装协变量问题。虽然目前的方案识别率较高,但可能受到服装协变量的影响。例如,如果个人持有一个球,或者装载一个包裹,或者甚至穿着一双不同的鞋,识别率可能会显著下降[195]。因此,要减少服装协变量的影响,还需要做更多的工作。

第三,进一步从复杂背景中提取步态轮廓。当个体在复杂曲面上行走时,步态识别系统很难提取其轮廓。因此,需要做更多的工作来减少背景的影响[26]。

第四,需要进一步解决多视图协变量问题。当同一个人以不同的角度走向摄像机时,从视频数据中提取的步态轮廓可能不同。在这种情况下,步态识别率可能会显著下降。目前的研究主要集中在不同观点的转换模式上。这可能是不够的,需要更多的工作,如训练算法[196],以减少多视图的影响。

第五,需要进一步的工作来结合步态和其他生物特征,如面部。耿等。[197]结果表明,将步态和人脸生物特征相结合可以提高识别率。因此,需要更多的工作来将多个生物特征组合在一起,以获得较高的识别率。

第六,需要进一步的数据集构建工作。首先,为了提高步态识别系统的识别率,需要建立大数据集。其次,需要在复杂背景等不同条件下的数据集。

第七,需要进一步研究对步态生物特征的攻击及其对策。一般来说,很难欺骗步态识别系统,如参考文献[168]所示。然而,在一些特殊情况下,步态生物特征可能会被欺骗。例如,[198]中的结果表明,如果攻击者知道他们在数据集中最亲近的人,他们可以建立有效的攻击。以及Kumar等人。[103]表明,借助跑步机欺骗步态生物特征非常容易,错误接受率甚至可以达到70%。





除非注明,否则均为一叶呼呼原创文章,转载必须以链接形式标明本文链接

本文链接:http://www.yiyehu.tech/archives/2020/04/18/a-survey-on-gait-recognition

发表评论

电子邮件地址不会被公开。 必填项已用*标注