通过Kinect v1.0摄像头，实时捕获人体关节数据，并通过规则定义摔倒行为的主要特点，逐帧追踪并分析深度视频，并得出判定结论。

通过Kinect v2.0摄像头，实时捕获人体关节数据，并通过规则定义标准坐姿行为， 在一段时间内（10分钟）逐帧追踪并分析深度视频，并得出判定结论。

通过逐帧追踪关节点坐标，提取每一个关节点在指定时间段内容的特征，并存放于RGB图像的3个色彩通道。 详细存放方法可见本人论文：《A Data Augmentation Method for Human Action Recognition Using Dense Joint Motion Images》。 代码下载后，主要见：行为图谱->DJMICreate.cs文件

基于DJMI以及增强样本，进行深度神经网络的训练与测试。主要通过 Florence3D Actions（Florence-3D）和UTKinectAction3D(UT-3D) 两个小型数据集来验证数据增强算法和模型。实验证明：1）本人所提出的针对骨架关节点的数据增强算法能够普适于各种卷积神经网络； 2）本人所提出的CNN+LSTM并联的方法能有效提高检测准确率。 注：下载代码包括了所有实验与测试代码，其中：
1) 最终混合模型代码封装于：DJMI_Florence3DActions-->fusingModel.py
2) 过程实验代码主要存放于：Florence3D和UTKinectAction3D文件夹
3）数据增强生成的DJMI图片可直接点击下载已生成好的DJMI图片:
img/Florence3DActions.zip
img/UTKinectAction3D.zip

程序主要用于展示样本增强策略的效果，也是本人用于标定复杂行为的程序。其中样本生成可视化效果主要包括： 1、缩放系数：通过等比缩放人体骨架模拟不同体型的人执行同一行为；
2、X/Y轴平移：模拟在不同起始位置执行行为；
3、随机采样帧频：模拟同一行为以不同的速度执行；
4、上述三个策略可以随机组合。
本人所提数据增强策略由于是基于原始数据，最大特点在于效率高，可以实时海量生成行为、动作的样本数据，比GAN及其相关变形在绝对的比较优势。
图片效果不好，点击此处下载样例视频

提出了一种新的卷积神经网络的多尺度改造方式——Global Mulit-scale Layer(GMS层)。 GMS层通过特征串联，集成了GAP、GMP以及SPP的深度特征,继承了GAP和SPP层的特点， 能够在输入不同尺度数据的情况下，保证输出尺度的固定。 即：赋予了卷积神经网络模型在训练和测试阶段具备多尺度学习和多尺度识别能力。

另外，针对DJMI的精度不足问题，提出了DJMM的存储方式。提高了模型的存储精度。详细介绍可参见文人论文：《Multi-Scale Feature Learning and Temporal Probing Strategy for One-Stage Temporal Action Localization》

提供的下载代码包括：多尺度训练和实验对比，其中：
1）abandon_multiScale_dataAug.py是多尺度+数据增强训练测试代码
2）abandon_multiScales是多尺度训练测试代码
3）abandonTest是仅归一化后的训练测试代码
4）GAP_SPP_GAP+SPP是本项目最终成果，在HanYue-3D数据集上的最终训练模型。

本人所提出的“基于大尺度时间窗口优先的探进定位策略（后文简称：LSF-TD）”受启发于中文分词的成熟算法——“长词逆序优先分词策略”。 复杂行为中动作的时序定位与中文段落中的分词提取有极多的相似之处：

首先，一段中文的长文中包含有许多中文的单词，而一段复杂行为视频中包含有许多基本动作； 其次，中文单词在句子中没有明确的边界，而一段复杂行为视频中每个动作也没有明确的边界； 最后，不同中文单词按照顺序组成了语义相异的句子，不同的基本动作按照时序的不同排列组成了不同的复杂行为。

鉴于上述三点描述，“长词逆序优先分词策略”对动作在复杂行为中的时序定位研究，就具备了非常有价值的参考意义。 详细介绍可参见文人论文：《Multi-Scale Feature Learning and Temporal Probing Strategy for One-Stage Temporal Action Localization》

提供的下载代码包括：各种经典方法与本人所提方法的对比，其中：
1）Util.py是对本方法核心代码的封装
2）testActionDetect.py是本人所提探进方法的检测效果，评价指标为mAP@IoU=0.5-0.9
3）testActionDetect_sw.py是本人用sliding window替代探进算法的检测效果，评价指标为mAP@IoU=0.5-0.9

实现了语义层行为定义，以及样本生成代码。

提供的下载代码包括：
1）行为定义.txt：复杂行为定义
2）样本增强代码（c#）:样本生成代码
3）行为定义_增强样本.txt：样本增强后，共包含248000个行为。
4）行为定义_增强样本_替换动作词（word2vec_百度）.txt：替换近义词后的测试样本

本人提出了零样本情况下，人体复杂行为的量化矩阵。 所构建的输入矩阵是一个尺寸为N×100×2的三维矩阵， 其中：N是动作词，按其在连续行为中的发生顺序排列，100代表的是词向量的前100维，2是每个动作有词向量和持续时间2个表示纬度。

在语义层对复杂行为进行定义后，数据将被高度抽象,所构建输入矩阵的尺度非常有限。鉴于此，本人在深度网络模型的设计上进行了大胆创新尝试，通过(2, 50)的超大异形卷积核提取特征，并进行行为识别。


实验在三个语言模型，共计7个语料库上的训练获得的词向量进行了实验对比，实验结果很好。相关词向量和行为定义样本已存放至SQL Server2012数据库。 可点击此处下载： semantic.bak

提取码：5qjy
通过时序定位模型，提取视频动作关键词以及持续时间，在通过语义识别模型，实现零样本情况下的复杂行为识别。14组行为在零样本情况下， 最终正确识别10组，错误识别4组，识别正确率：71.43%。
语义提取结果：

识别效果：