深度级联:级联三维深度神经网络,用于在拥挤场景中快速检测和定位异常,Deep-Cascade: Cascading 3D Deep Neural Networks for Fast Anomaly Detection and Localization in Crowded Scenes

深度级联:级联三维深度神经网络,用于在拥挤场景中快速检测和定位异常

说明

cubic patch : 翻译为立方块, 其实是把视频等切割为一块块的小立方块,作为异常检测的输入

题目、关键词和摘要

题目分词: Deep-Cascade, 3D Deep Neural Networks,Fast Anomaly Detection and Localization, Crowded Scenes

关键词:异常检测,深度神经网络,视频分析,行人场景。

提出了一种快速可靠的视频数据异常检测与定位方法。高效的异常定位是一个持续的挑战和本文的主题。提出了一种基于立方块的方法,该方法利用了一种先进的特征学习方法。我们的分类器级联有两个主要阶段。首先,一个轻而深的三维自动编码器被用来早期识别“许多”正常的立方块。在仔细调整剩余感兴趣的候选对象的大小和使用更复杂和更深层次的三维卷积神经网络(CNN)评估第二阶段的候选对象之前,该深网络第一阶段为小立方块操作。我们将深度自动编码器和CNN分成多个子阶段,作为级联分类器进行操作。级联深层网络的浅层(设计为高斯分类器,充当弱单类分类器)检测“简单”的正常块,如背景补丁和更复杂的正常块,在深层检测。结果表明,所提出的新技术(两个级联分类器的级联)在标准基准上的性能与当前性能最好的检测和定位方法相当,但在所需的计算时间方面优于一般方法

图表分析

ck

结论

本文介绍的深度级联方法是一种使用高级功能的方法,该功能可以通过级联结构中的深度神经网络来学习。我们提出了一种新的异常检测方法,该方法在运行时间和准确性上均十分有效。两个深层网络共同协作以识别具有挑战性的立方块并检测异常。具有挑战性的补丁程序的识别是通过使用可在小型补丁程序上运行的小型深度网络完成的。提取每个检测到的挑战性补丁附近的九个大补丁,并将其传递到深度网络,该网络具有更高的准确性和复杂性。这些过程导致加速。我们根据正常立方块的复杂性和网络深度增加的判别能力来检测正常立方块,中间层充当弱高斯分类器。总之,我们的方法是使用高级功能的级联分类器。

介绍

解决以下四个问题:(1)缺少异常训练样本;(2)用一个特征集表示所有正常事件;(3)按照独特的模型处理所有区域,而无需考虑区域复杂性;(4)使用手工特征,这些特征无法充分区分色块。

结果:准确而快速的异常检测

异常检测的相关工作

视频数据中对象的轨迹,如果对象不遵循学习的法线轨迹,则将其标记为异常。需要解决遮挡问题,而且对于拥挤的场景,它们在计算上也非常昂贵。

为了处理较高的场景复杂性和遮挡,引入了一些使用低级特征(例如HoG或HoF)的方法。

上下文感知异常检测算法,作者通过使用运动和视频上下文来表示视频数据

在[36]中,提出了一个用于对运动和外观进行建模的描述符,称为运动上下文。异常检测被认为是匹配问题。换句话说,如果测试 块 与训练的正常 块 不匹配,则将其视为异常块

在[38]中提出了一种场景解析方法,其中帧中前景的所有对象假设都通过常规训练来解释。那些不能通过常规训练来解释的假设被认为是异常的

。。。。

提出的系统

提出的系统是构建在两个深度神经网络( DNNs )上的级联分类器,DNN中间层配有一类高斯分类器。它们被视为级联分类器子阶段。这两个DNN定义了两个主要阶段,分类器是子阶段。

框架

总体框架

给定一张视频帧,切分为M* N大小的窗口,选用K张相同位置的窗口组成一个立方块(cubic patch),文中为10 * 10 * 5.

第一步快速的检测大多数的常规立方块,剩余的块被发送到第二步继续检测
Stage 1 detects quickly most of the normal patches; the remaining (i.e. “challenging”) patches are sent to Stage 2.

剩余的(challenging)的可能为异常的立方块,需要提取周围的9个大小为40×40×20的大立方块,并将它们传递给第二步。

使用小立方块来检测异常会带来相对于真实阳性的良好性能,但是小立方块也会产生许多假阳性。

在阶段1使用较小但较深的堆栈自动编码器,并在阶段2使用具有更多类型和层数的CNN。通过分析在不同深度层中生成的特征的性能,我们可以确认浅层的特征可以很好地发挥作用,但是在较大深度处生成的特征会带来更好的性能。因此,为了解决异常问题,浅层特征定义了时间高效的线索,用于快速检测简单的正常立方块(如,在背景中)。

Cascaded Deep Network Structure 级联的深度网络结构

Cascaded Stacked Auto-Encoder 级联堆叠自动编码器

堆叠自编码器:非监督学习

一个两层的堆叠自编码器,每一层AE后面级联一个高斯分类器用以区分正常和异常。
这个Cascaded级联应该是级联高斯分类器的意思。

Cascaded Convolution Neural Network 级联卷积神经网络

Mean操作为channel-wise的平均,之后作为弱高斯分类器的输入。

这里的Cascaded级联应该是级联高斯分类器的意思。

Deep Structure Layer-Wise Training
深度结构分层训练

在现实世界中的异常问题中,通常不会标记训练数据,或者只有正常样本。因此,不可能将一个深度网络训练为端到端网络来完成此任务。
为了从分层特征提取中受益,类似于Ranzato等人的工作,对CNN进行分层训练,并且独立于其各层之间的分类器。在[48]中。卷积层的内核和全连接层的权重都由稀疏自动编码器(SAE)进行训练。为了训练内核,所有训练视频都被转换为一组具有相同内核大小的立方体。关于这些训练立方体样本,训练了在其隐藏层具有 s 个神经元的SAE。

看损失: 损失 + 正则 + KL离散度正则化
KL离散度正则化是为了使隐藏层的激活变得稀疏

Anomaly Classfilers 异常分类器

马氏距离