哈哈(haha)体育

哈哈体育.(HAHA)十年运营,信誉无忧

返回新闻中心

? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤研究

商汤研究始终坚持原创，，，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，，，具备健全的人才作育机制，，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模�；；；；；；；� AI 云基础设施，，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，，引领AI立异，，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，，能够支持诸多物联网装备，，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，，结构多领域、多偏向前沿研究，，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，，向行业赋能。。。。。。

< 返回论文解读

香港中大-商汤科技团结实验室AAAI任命论文详解：ST-GCN时空图卷积网络模子

2018-02-11

克日，，，，，，，，香港中大-商汤科技团结实验室的最新 AAAI 聚会论文「Spatial Temporal Graph Convolutional Networks for Skeleton Based Action Recognition」提出了一种新的 ST-GCN，，，，，，，，即时空图卷积网络模子，，，，，，，，用于解决基于人体骨架要害点的人类行动识别问题。。。。。。该要领除了思绪新颖之外，，，，，，，，在标准的行动识别数据集上也取得了较大的性能提升。。。。。。本文中我们将详细先容该论文中提出的要领，，，，，，，，并先容一些妄想中的进一步事情等。。。。。。

作者：颜思捷，，，，，，，，熊元骏，，，，，，，，林达华

图 1. ST-GCN 的模子结构示意图

图 2. 对 ST-GCN 最末卷积层的响应

举行可视化的效果

(via GitHub)

基于骨架要害点的行动识别

随着如 Microsoft Kinect、OpenPose 等人体姿态检测系统的成熟，，，，，，，，基于骨架要害点的人类行动识别成了盘算机视觉，，，，，，，，特殊是人类行动识别研究中的一个主要使命。。。。。。该使命要求输入在一连的视频帧中检测到的人体骨架要害点序列，，，，，，，，输出正在爆发的人类行动种别。。。。。。作为行动识别系统中的主要模态，，，，，，，，基于骨架的行动识别已经展现出主要的适用价值与研究价值。。。。。。本论文正是针对这个使命提出了一种全新的深度学习模子，，，，，，，，我们称之为「时空图卷积网络」(ST-GCN)。。。。。。

构建时空图

ST-GCN 的基础是时空图结构。。。。。。从骨架要害点序列构建时空图 (spatial-temporal graph) 的想法泉源于我们对现有的骨架行动识别要领以及图像识别要领的视察。。。。。。我们发明，，，，，，，，现有的基于骨架的行动识别要领中为了提高识别精度大都引入了一些空间结构信息，，，，，，，，包括相邻要害点的毗连关系或身体部件等(如手-手肘-肩膀的毗连关系)。。。。。。

为了建模这些空间信息，，，，，，，，现有要领经常使用 RNN 等序列模子来遍历相连的要害点。。。。。。这就要求模子设计者界说一种遍历的规则，，，，，，，，或者手动界说一些身体部件。。。。。。我们指出，，，，，，，，在这种设计中，，，，，，，，很难获得一个最优的遍历规则或者部件划分。。。。。。可是，，，，，，，，我们发明，，，，，，，，要害点之间自然的毗连关系，，，，，，，，着实组成了一个自然的图结构(graph)。。。。。。那么，，，，，，，，我们怎么能够高效地使用这些图结构来举行行动识别呢?

在 ST-GCN 的事情中我们提出，，，，，，，，可以从输入的要害点序列中建设一个时空图(spatial-temporal graph)。。。。。。这个图结构凭证如下的规则来构建。。。。。。

1. 在每一帧内部，，，，，，，，凭证人体的自然骨架毗连关系结构空间图;

2. 在相邻两帧的相同要害点毗连起来，，，，，，，，组成时序边;

3. 所有输入帧中要害点组成节点集(node set)，，，，，，，，办法 1、2 中的所有边组成边集(edge set)，，，，，，，，即组成所需的时空图。。。。。。

在凭证上述规则获得的时空图上，，，，，，，，我们自然地保存了骨架要害点的空间信息，，，，，，，，并使得要害点的运动轨迹(trajectory)以时序边的形式获得体现。。。。。。这使得我们可以设计一个统一的模子来完整地对这些信息举行建模。。。。。。在图 3 中我们展示了一种时空图的结构。。。。。。

图 3. NTU-RGBD 数据集上建设的时空图示例

图结构上的卷积网络

为了在时空图上对人类行动的信息举行剖析，，，，，，，，我们提出使用图卷积网络 (graph convolutional networks – GCN)。。。。。。图上的神经网络模子是机械学习研究的一个热门领域。。。。。。本文中使用的图卷积网络即是图上神经网络中的一种，，，，，，，，其在网络剖析、文天职类等问题都有乐成应用。。。。。。

在先容图卷积网络的看法之前，，，，，，，，我们先往返首图像上的卷积操作。。。。。。在图像上，，，，，，，，卷积操作使用一些牢靠巨细的卷积核(filter/kernel)来扫描输入的图像。。。。。。如图 3 所示，，，，，，，，在每个扫描的中心位置像素周围，，，，，，，，抽取一个与权重矩阵巨细相同的像素矩阵，，，，，，，，将这些像素上的特征向量按空间顺序拼接并与卷积核的参数向量做内积以获得该位置的卷积输出值。。。。。。在这里，，，，，，，，「周围像素」可以界说为像素网格(grid)上的一个邻域(neighborhood)。。。。。。将图像上的卷积操作推广到恣意结构的图结构上时，，，，，，，，我们同样可以界说任何一个节点的邻域，，，，，，，，与一系列权重矩阵。。。。。。这就是图卷积网络的基本头脑。。。。。。

可是，，，，，，，，与图像差别的是，，，，，，，，通俗的图结构上若是使用毗邻矩阵(Adjacency matrix)来界说邻域时，，，，，，，，每个节点的邻域中节点的数目并不是牢靠的(思量补 0 时，，，，，，，，图像上像素周围的像素是总是牢靠的)。。。。。。这就使得我们我们很难确定： 1)需要使用的卷积核的参数维度;2)若是排列权重矩阵与邻域内的节点以举行内积运算。。。。。。在原始的 GCN 文章中，，，，，，，，作者提出了将内积操作变为这样一个操作：使用统一个向量与所有邻域内的点上的特征向量盘算内积并将效果求均值。。。。。。这使得： 1)卷积核的参数可以确定为一个牢靠长度的向量;2)不需要思量邻域内节点的顺序。。。。。。这个设计使得 GCN 可以在恣意毗连关系的图上使用，，，，，，，，并在一些使命，，，，，，，，如网络剖析和半监视学习中取得了较好的性能。。。。。。

需要注重的是，，，，，，，，图上神经网络除了上面提到基于图的空间结构的思绪之外，，，，，，，，尚有一种基于谱剖析 (spectral analysis) 的结构思绪。。。。。。关于这一类要领，，，，，，，，请见参考文献【2】。。。。。。在 ST-GCN 中，，，，，，，，我们也使用了基于图的空间结构的思绪。。。。。。

时空图卷积网络与行动识别

要将图卷积网络运用于基于骨架要害点的行动识别中，，，，，，，，我们还需要仔细剖析这个使命的特点与难点，，，，，，，，而不是直接将已有要领生搬硬凑。。。。。。在本文中，，，，，，，，我们指出了原始 GCN 的一个主要性子：该文中提出的卷积操作，，，，，，，，实质上等价于先将邻域内所有节点的特征向量求平均，，，，，，，，再与卷积核的参数向量盘算内积。。。。。。这种平均操作在骨架行动识别会遇到一个主要问题，，，，，，，，即：它无法建模要害点之间相对位置转变的情形，，，，，，，，或所谓的「微分性子」(differential properties)。。。。。。因此基于原始 GCN 的模子，，，，，，，，识别性能并不会很理想。。。。。。

针对这个问题，，，，，，，，我们以为，，，，，，，，要真正增强的模子的性能，，，，，，，，必需跳出原始 GCN 的「平均头脑」。。。。。。为相识决这个问题，，，，，，，，我们将明确了图像上的卷积操作明确为把中心像素相邻的像素荟萃(邻域集-neighbor set)凭证空间顺序，，，，，，，，如从左至右，，，，，，，，从上至下，，，，，，，，划分为一系列荟萃。。。。。。在图像的情形中，，，，，，，，每个荟萃正好包括一个像素。。。。。。这些荟萃就组成了邻域集的一个划分(partition)。。。。。。卷积核的参数只与这个划分中的子集个数以及特征向量长度有关。。。。。。那么在通俗的图结构中，，，，，，，，只要界说了某种划分规则(partitioning strategy)，，，，，，，，我们就也可以参照图像卷积来界说卷积核的参数。。。。。。类似的头脑也应用在了如 deformable CNN 等近期事情中。。。。。。

有了这个头脑，，，，，，，，我们就可以针对骨架行动识别，，，，，，，，以致任何图卷积网络所面临的问题来界说有针对性的卷积操作。。。。。。而界说卷积操作就简化为了设计对应的划分规则。。。。。。对一个保存 K 个子集的划分规则，，，，，，，，卷积核的参数包括 K 个部分，，，，，，，，每个部分参数数目与特征向量一样。。。。。。仍然以图像上的卷积为例，，，，，，，，在一个窗口巨细为 3x3 的卷积操作中，，，，，，，，一个像素的邻域(窗口)凭证空间顺序被划分为 9 个子集(左上，，，，，，，，上，，，，，，，，右上，，，，，，，，左，，，，，，，，中，，，，，，，，右，，，，，，，，左下，，，，，，，，下，，，，，，，，右下)，，，，，，，，每个子集包括一个像素。。。。。。卷积核的参数包括 9 个部分，，，，，，，，每个部分与特征图(feature map)的特征向量长度(number of channel)一致。。。。。。也就是说，，，，，，，，图像卷积可以诠释为通俗图上卷积在规则网格图(regular grid)上的一种应用。。。。。。

为了在时空图上举行骨架行动识别，，，，，，，，我们提出了三种空间的划分规则。。。。。。

第一种称为「唯一划分」(uni-labeling)。。。。。。其与原始 GCN 相同，，，，，，，，将节点的 1 邻域划分为一个子集。。。。。。

第二种称为「基于距离的划分」(distance partitioning)，，，，，，，，它将节点的 1 邻域分为两个子集，，，，，，，，即节点自己子集与邻节点子集。。。。。。引入基于距离的划分使得我们可以剖析骨架要害点之间的微分性子。。。。。。

进一步，，，，，，，，我们针对行动识别的特点，，，，，，，，提出了第三种，，，，，，，，「空间构型划分」(spatial configuration partitioning)。。。。。。这种划分规则将节点的 1 邻域划分为 3 个子集，，，，，，，，第一个子集为节点自己，，，，，，，，第二个为空间位置上比本节点更靠近整个骨架重心的邻节点荟萃，，，，，，，，第三个则为更远离重心的邻节点荟萃。。。。。。建设这种划分规则在凭证运动剖析的研究中对向心运动与离心运动的界说。。。。。。三种划分规则的示意图请见图 4。。。。。。

图 4.三种空间的划分规则示意图

除了统一帧内部的空间划分规则，，，，，，，，在时间上，，，，，，，，由于时序边组成了一个网格，，，，，，，，我们可以直接使用类似于时序卷积(temporal convolution)的划分规则。。。。。。最终，，，，，，，，时空图上使用的划分规则获得的子集荟萃会是空间划分与时序划分的笛卡尔积。。。。。。

界说好了时空图上的卷积操作，，，，，，，，我们就可以设计卷积网络了。。。。。。为了展示 ST-GCN 的性能，，，，，，，，我们直接从一个已有的时序卷积网络结构的基础上设计了文中用到的 ST-GCN 的网络结构。。。。。。我们将所有时序卷积操作转为时空图的卷积操作，，，，，，，，每一个卷积层的输出是一个时空图，，，，，，，，图上每一个节点保有一个特征向量。。。。。。最终，，，，，，，，我们合并所有节点上的特征并使用线性分类层举行行动分类。。。。。。训练使用标准的 SoftMax 交织熵损失函数举行监视。。。。。。参数学习使用标准随机梯度下降算法(SGD)。。。。。。

实验效果

我们在两个性子迥异的骨架行动识别数据集上举行了实验来验证 ST-GCN 的性能。。。。。。

第一个数据集是 Kinetics-Skeleton，，，，，，，，它来自于最近由 Google DeepMind 孝顺的 Kinetics 视频人类行动识别数据集。。。。。。我们使用 OpenPose 姿态预计软件获得视频中所有的骨架要害点信息来组成 Kinetics-Skeleton。。。。。。该数据集共有约 30 万个视频与 400 类行动。。。。。。

第二个数据集是 NTU-RGB+D，，，，，，，，这是三维骨架行动识别的标准测试数据集。。。。。。它包括了用 Microsoft Kinect 收罗的三维骨架序列。。。。。。该数据集共有约 6 万个视频，，，，，，，，60 个行动种别。。。。。。这个数据集包括了两个测试协议，，，，，，，，即跨演出人(X-Sub)与跨视角(X-View)协议。。。。。。在两个数据集的三个测试协议上，，，，，，，，ST-GCN 相比现有要领在识别精度上均有很大提高，，，，，，，，详细效果可见表图 1。。。。。。

表图 1. 骨架行动识别效果

除了获得更好的性能，，，，，，，，我们也详细剖析了三种划分规则对识别精度的影响。。。。。。如表 2 所示，，，，，，，，正如我们所期望的，，，，，，，，距离划分与空间构型划分相关于原始 GCN 使用的唯一划分在精度上均有较大提高。。。。。。这证实晰引入新的划分规则的主要性。。。。。。特别的，，，，，，，，针对行动识别使命设计的空间构型划分取得了最高的性能，，，，，，，，并被最后应用于 ST-GCN 的相关实验中。。。。。。

我们还将 ST-GCN 的最后一层神经元响应举行了可视化(表 2)。。。。。。在效果中我们可以显着看到 ST-GCN 能够追踪并深入剖析在某个时间段与行动最相关的身体部分的运动，，，，，，，，这诠释了为何 ST-GCN 相关于其他不关注空间结构的现有要领能获得很大的性能提高。。。。。。

表图 2.差别划分规则的影响

思索与最后的话

回首 ST-GCN 的提出，，，，，，，，我们总结了两个主要的头脑跨越。。。。。。

第一个是从将骨架序列明确为一帧帧的骨架演进为将整个视频明确为一个整体的时空图，，，，，，，，这使得用一个统一的模子来剖析行动成为可能。。。。。。

第二个是从原始 GCN 的质朴头脑演进为使用基于划分规则的卷积界说。。。。。。这个头脑使得我们可以逾越原始 GCN 并获得重大的性能提升，，，，，，，，该头脑也在 MoNet【3】的事情中被提及过。。。。。。我们将其原则化为荟萃的划分操作。。。。。。这也使得这个头脑可以应用其他的剖析使命中。。。。。。

在未来的事情中，，，，，，，，我们妄想运用 ST-GCN 的无邪性来处置惩罚更多的图剖析问题。。。。。。同时，，，，，，，，针对行动识别使命，，，，，，，，一个自然的演进就是在骨架要害点坐标的基础上引入视觉特征，，，，，，，，如图像特征，，，，，，，，以致场景图(scene-graph)等，，，，，，，，并将它们统一在 ST-GCN 的剖析框架下。。。。。。哈哈(haha)体育最终目的则是一个性能更高，，，，，，，，更具有可诠释性的统一的视频行动识别模子。。。。。。

相关文献：

1.「Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition」, Sijie Yan, Yuanjun Xiong and Dahua Lin, AAAI 2018.

2.「Convolutional neural networks on graphs with fast localized spectral filtering.」，，，，，，，，Defferrard, et. al., NIPS 2016.

3.「Geometric deep learning on graphs and manifolds using mixture model CNNs.」, Monti, Federico, et al. CVPR 2017.

Github 代码：

https://github.com/yysijie/st-gcn

5热风人事部j.jpg

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？

1
2
3
4
5
6
7
8
9
10

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴

您还未登录，，，，，，，，登录方可继续

登录跳过，，，，，，，，继续浏览

您尚未完善信息

完善信息后，，，，，，，，即可下载资料

完善信息跳过，，，，，，，，继续浏览

商务相助

400 900 5986
( 周一至周五 9:00-12:00, 13:00-18:00 )
business@sensetime.com
媒体相同: pr@sensetime.com
投资者关系联络: ir@sensetime.com

社交媒体

微信公众号

【网站地图】【sitemap】