? ? ?

手艺能力

以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。

相识所有案例

商汤研究

商汤研究始终坚持原创，，，，，，，一直突破立异。。。。。。具有人工智能领域深挚的学术积累，，，，，，，具备健全的人才作育机制，，，，，，，已与海内外五十余所一流高校和科研院所建设了深度相助关系，，，，，，，并与众多行业同仁同心共建AI生态圈。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤大装置AI云 SenseCore

建设高效率、低本钱、规模唬唬�；；；� AI 云基础设施，，，，，，，打造专业的深度学习平台及算法模子系统，，，，，，，引领AI立异，，，，，，，助力工业界及学术界探索 AI 界线。。。。。。

申请试用

相识所有案例

相识所有产品效劳

商汤日日新大模子 SenseNova

商汤日日新大模子 SenseNova，，，，，，，可以提供自然语言处置惩罚、图片天生、自动化数据标注、自界说模子训练等多种大模子及能力。。。。。。

申请试用

相识所有案例

相识所有产品效劳

水星智能移动终端平台 SenseME

哈哈(haha)体育SenseME 水星智能移动终端平台提供包括SDK、AI传感器和ISP芯片等全套产品，，，，，，，能够支持诸多物联网装备，，，，，，，以增进感知智能和内容增强

申请试用

相识所有案例

相识所有产品效劳

火星混淆现实平台 SenseMARS

SenseMARS平台通过对物理天下的数字重修、虚拟化身和软件智能体，，，，，，，创立全新的陶醉式和交互式的元宇宙体验

申请试用

相识所有案例

相识所有产品效劳

晶识智能零售平台 SenseGalaxy

基于商汤SKU商品识别大模子，，，，，，，用AI赋能智能结算、库存盘货、纯净度审核等营业场景并快速拓展至智慧商流与智慧物流领域。。。。。。

申请试用

相识所有案例

相识所有产品效劳

焦点手艺: 以原创手艺系统为基本，，，，，，，SenseCore商汤AI大装置为焦点基座，，，，，，，结构多领域、多偏向前沿研究，，，，，，，
快速买通AI在各个笔直场景中的应用，，，，，，，向行业赋能。。。。。。

< 返回论文解读

CVPR 2022 Oral｜PoseConv3D开源：基于人体姿态的行动识别新范式

2022-09-14

小序

PoseC3D framework

我们此前的事情 PoseC3D[1]在今年的CVPR中以Oral Presentation吸收，，，，，，，这项事情第一个使用3D-CNN举行基于要害点序列的视频明确，，，，，，，同时取得了较好的识别性能，，，，，，，对后续的事情保存一些启发意义。。。。。。

在之前的文章(https://zhuanlan.zhihu.com/p/395588459)中，，，，，，，我们已对这项事情的详细要领，，，，，，，相对 GCN 要领的优势，，，，，，，以及现实性能举行了详细的形貌。。。。。。在已往一段时间，，，，，，，我关于skeleton action recognition 又举行了一些相关的研究，，，，，，，这篇文章会围绕以下主题：

什么是skeleton action recognition？？？？？？其意义在于那里？？？？？？

现有skeleton action recognition 解决计划的一些问题，，，，，，，兼谈PoseC3D的优弱点

分享我们最新的开源实现PYSKL[2]，，，，，，，这个开源代码库同时支持了PoseC3D与GCN要领，，，，，，，及其一系列最佳实践

Skeleton action recognition

界说及其意义

Skeleton Action Recognition

Skeleton-based action recognition意味基于且仅基于时序要害点序列来举行视频明确。。。。。。举一个详细的例子：若有一个 300 帧的视频，，，，，，，其中包括一小我私家，，，，，，，如使用17个二维要害点（CoCo 界说），，，，，，，那么输入的形状即为 300 x 17 x 2。。。。。。一样平常古板上，，，，，，，要害点序列多指人体要害点序列（如手肘、手腕、膝盖等要害点），，，，，，，但显然，，，，，，，这类要领也可以扩展至其他场景，，，，，，，如用面部要害点识别心情，，，，，，，用手上的要害点识别手势等等。。。。。。

差别于基于RGB的视频明确，，，，，，，skeleton action recognition具有如下优点：

1. 骨骼点自己作为一种与人体行动关系亲近的体现形式，，，，，，，关于视频明确有主要意义。。。。。。

2. 骨骼点是一种轻量的模态，，，，，，，以是基于骨骼点的识别要领，，，，，，，往往比基于其他模态的要领轻量许多。。。。。。

3. 基于骨骼点的识别，，，，，，，团结高质量的姿态检测器，，，，，，，往往能在数据较少的情形下就能取得不错的识别效果，，，，，，，且兼具较强的泛化能力。。。。。。

而同时，，，，，，，skeleton action recognition也具有如下弱点：

1. 并非所有的行动，，，，，，，都可以仅通过骨骼点序列来识别，，，，，，，部分行动种别需要依赖于物体、场景等上下文来举行判断。。。。。。

2. 在难以获取高质量要害点的情形下，，，，，，，骨骼行动识别的性能会受到较大影响。。。。。。在现实使用历程中，，，，，，，还需要依据现实需求，，，，，，，来选择事实基于那种模态，，，，，，，举行视频明确。。。。。。

保存问题

现有Skeleton-based Action Recognition的解决计划，，，，，，，主要有基于GCN或CNN的两大种别，，，，，，，本文会划分讨论其中保存的一些问题。。。。。。

GCN要领及其问题

作为Skeleton Action Recognition的主流要领，，，，，，，GCN要领依然保存一系列实践相关的问题，，，，，，，这些问题制约了模子的性能，，，，，，，并一定水平上影响了差别要领间的公正较量。。。。。。本文以NTURGB+D数据集为例，，，，，，，对保存的问题举行简述。。。。。。

Preprocessing & Augmentation

给定一个skeleton sequence，，，，，，，现在的GCN要体会先对其举行处置惩罚，，，，，，，以获得模子输入。。。。。。预处置惩罚主要分为两个部分：

空间维度上，，，，，，，以第一帧作为基准，，，，，，，将第一帧中的skeleton的中心点置于原点，，，，，，，将第一帧中skeleton的脊椎与z轴对齐。。。。。。

2. 时间维度上，，，，，，，针对数据集中序列是非纷歧的问题。。。。。。

主要有以下解决计划：

1. ST-GCN[3]: 将所有序列以zero padding扩充至最大长度（所有序列中最长序列的长度）。。。。。。

2. AGCN[4]: 将所有序列以loop padding扩充至最大长度。。。。。。

3. CTR-GCN[5]: 预处置惩罚时不举行处置惩罚，，，，，，，在data augmentation时，，，，，，，使用Random Crop裁剪出子序列，，，，，，，并 interpolate 到一定长度。。。。。。

其中，，，，，，，前两个计划的弱点在于，，，，，，，将序列以确定形式pad到最长的长度，，，，，，，爆发了盘算力铺张。。。。。。第三种计划，，，，，，，虽可以爆发多样的训练样本，，，，，，，但interpolate获得的skeleton漫衍与原本的数据漫衍差别，，，，，，，且crop出的子序列纷歧定能完整地体现整个行动。。。。。。

在PYSKL中，，，，，，，我们对相关实践举行了刷新。。。。。。详细说，，，，，，，我们将PoseC3D中Uniform Sampling直接应用于 GCN，，，，，，，从原本的skeleton sequence中采样出子序列作为输入，，，，，，，这种方法在训练时可以获得更多样的训练样本（且每个样本都足以笼罩整个行动），，，，，，，也使test time data augmentation成为可能。。。。。。

Hyper Parameter Setting

在PYSKL中，，，，，，，我们也凭证对PoseC3D的训练履历对GCN训练的超参设置举行了刷新。。。。。。主要的刷新包括，，，，，，，我们使用了CosineAnnealing训练战略，，，，，，，并使用了一个更强的正则项。。。。。。刷新超参设置后，，，，，，，GCN模子的效果有了长足的提升。。。。。。

CNN要领及其问题

基于CNN举行skeleton-based action recognition的要领，，，，，，，主要分为2D-CNN与3D-CNN两大类。。。。。。唬唬�；；；�2D-CNN 的要领，，，，，，，如PoTion[6]，，，，，，，将骨骼点序列以color coding的方法绘制在一张图上，，，，，，，并用2D-CNN举行处置惩罚，，，，，，，其最大的问题，，，，，，，也在于以color coding方法举行时序维度上的压缩造成了无法填补的信息损失。。。。。。

PoTion使用color coding将骨骼点序列绘制在一张图上

作为基于3D-CNN的计划，，，，，，，PoseC3D将keypoint heatmap堆叠为3D Voxel，，，，，，，并用3D-CNN举行处置惩罚。。。。。。作为一个简朴明晰的计划，，，，，，，PoseC3D能直接使用3D-CNN强盛的时空建模能力，，，，，，，在取得优异识别效果的同时具备鲁棒性好，，，，，，，可扩展性好，，，，，，，兼容性好等诸多优点。。。。。。但同时，，，，，，，其也有以下的缺乏之处：

1. 未针对骨骼模态特点举行特有的模子设计，，，，，，，识别效果尚有优化空间。。。。。。

2. 相对GCN，，，，，，，所需盘算量照旧较多：使用基于R50的3D网络，，，，，，，其算力消耗仅能做到与GCN中的较heavy要领 MS-G3D[7]相当，，，，，，，多于其他一些更轻量的GCN要领。。。。。。

3. 如输入为3D点的情形下，，，，，，，现在只能将其先投影到2D，，，，，，，保存信息损失。。。。。。这一缺陷可能可以为后续一些 Multi-View Projection + PoseC3D的事情所填补。。。。。。

开源实现 PYSKL

基于MMAction2（https://github.com/open-mmlab/mmaction2），，，，，，，我们最新开发了骨骼行动识别代码库 PYSKL，，，，，，，在已经完成的第一次release中，，，，，，，支持了三个模子PoseC3D[1], ST-GCN[3], ST-GCN++[2] 。。。。。。PYSKL具备如下特点：

模子完整，，，，，，，实现优异：PYSKL同时支持了3D-CNN和GCN两大类要领。。。。。。关于PoseC3D，，，，，，，我们release的模子笼罩了多个数据集与主干网络，，，，，，，并对大部分数据集周全笼罩了Joint, Limb两个模态。。。。。。关于基于GCN的要领，，，，，，，我们参照AA-GCN[8]的实践，，，，，，，release的权重文件周全笼罩了Joint, Bone, Joint Motion, Bone Motion 四个模态。。。。。。用户可以基于release的config和weight轻松复现相关数据集。。。。。。同时，，，，，，，基于我们提出的优异实践训练的PoseC3D和ST-GCN++，，，，，，，在多个benchmark上都取得了排名前线的性能。。。。。。

代码精练：专注于骨骼行动识别，，，，，，，PYSKL对代码举行了精简，，，，，，，只保存主要功效，，，，，，，去掉了冗余的code。。。。。。其主目录下只保存少于5000行代码，，，，，，，少于MMAction2的三分之一。。。。。。

易于上手：用户可直接使用PYSKL中提供的pickle文件举行训练与测试。。。。。。同时，，，，，，，我们提供了工具来对2D/3D骨骼数据举行可视化。。。。。。

PYSKL中的PoseC3D与ST-GCN++实现在NTURGB+D上取得了优异性能

传送门

论文地点

https://arxiv.org/abs/2104.13586

项目主页

https://github.com/kennymckormick/pyskl

References

[1] Revisiting skeleton-based action recognition：https://arxiv.org/abs/2104.13586

[2] https://github.com/kennymckormick/pyskl：https://github.com/kennymckormick/pyskl

[3] Spatial temporal graph convolutional networks for skeleton-based action recognition：https://scholar.google.com/citations%3Fview_op%3Dview_citation%26hl%3Den%26user%3DtAgSyxIAAAAJ%26citation_for_view%3DtAgSyxIAAAAJ%3Ad1gkVwhDpl0C

[4] Two-stream adaptive graph convolutional networks for skeleton-based action recognition：https://openaccess.thecvf.com/content_CVPR_2019/html/Shi_Two-Stream_Adaptive_Graph_Convolutional_Networks_for_Skeleton-Based_Action_Recognition_CVPR_2019_paper.html

[5] Channel-wise topology refinement graph convolution for skeleton-based action recognition：https://openaccess.thecvf.com/content/ICCV2021/html/Chen_Channel-Wise_Topology_Refinement_Graph_Convolution_for_Skeleton-Based_Action_Recognition_ICCV_2021_paper.html

[6] Potion: Pose motion representation for action recognition：https://openaccess.thecvf.com/content_cvpr_2018/html/Choutas_PoTion_Pose_MoTion_CVPR_2018_paper.html

[7] Disentangling and unifying graph convolutions for skeleton-based action recognition：https://openaccess.thecvf.com/content_CVPR_2020/html/Liu_Disentangling_and_Unifying_Graph_Convolutions_for_Skeleton-Based_Action_Recognition_CVPR_2020_paper.html

[8] Skeleton-based action recognition with multi-stream adaptive graph convolutional networks：https://ieeexplore.ieee.org/abstract/document/9219176/

您尚未完善信息

完善信息后，，，，，，，即可下载资料

完善信息跳过，，，，，，，继续浏览

您尚未登录

您还未登录，，，，，，，登录方可继续

登录跳过，，，，，，，继续浏览

请选择您以为需要刷新的地方：

导航欠好用，，，，，，，不利便找到感兴趣的内容
产品先容信息不敷周全
产品先容信息禁止易懂
页面翻开速率烦懑，，，，，，，页面浏览不流通/有卡顿
页面不敷雅观
售后效劳欠好找，，，，，，，体验欠好

跳过下一个

您是否能够抵达本次网站的会见目的？？？？？？

是
否
仍在举行中

下一个

您对商汤官网的知足度怎样？？？？？？

很是不知足很是知足

提交

已收到您对商汤官网的评价和建议！

谢谢您的耐心反响~

关闭

产品试用

填写此简朴表格，，，，，，，我们将尽快联系您！

把您的需求发给我们相识所有产品

商务相助

400 900 5986

周一至周五 9:00-12:00，，，，，，，13:00-18:00

business@sensetime.com

相助同伴招募

成为相助同伴