中级教程--(机器视觉)姿态检测

hawkbot

1、简介

MediaPipe是⼀款由Google开发并开源的数据流处理机器学习应⽤开发框架。它是⼀个基于图的数据处理管线，⽤于构建使⽤了多种形式的数据源，如视频、⾳频、传感器数据以及任何时间序列数据。MediaPipe是跨平台的，可以运⾏在嵌⼊式平台(树莓派等)，移动设备(iOS和Android)，⼯作站和服务器上，并⽀持移动端GPU加速。 MediaPipe为实时和流媒体提供跨平台、可定制的ML解决⽅案。

MediaPipe 的核⼼框架由 C++ 实现，并提供 Java 以及 Objective C 等语⾔的⽀持。MediaPipe 的主要概念包括数据包（Packet）、数据流（Stream）、计算单元（Calculator）、图（Graph）以及⼦图（Subgraph）。

MediaPipe的特点：

• 端到端加速：内置的快速ML推理和处理即使在普通硬件上也能加速。
• ⼀次构建，随时随地部署：统⼀解决⽅案适⽤于Android、iOS、桌⾯/云、web和物联⽹。
• 即⽤解决⽅案：展⽰框架全部功能的尖端ML解决⽅案。
• 免费开源：Apache2.0下的框架和解决⽅案，完全可扩展和定制
  

2、MediaPipe Pose

MediaPipe Pose是⼀个⽤于⾼保真⾝体姿势跟踪的ML解决⽅案，利⽤BlazePose研究，从RGB视频帧推断出33个3D坐标和全⾝背景分割遮罩，该研究也为ML Kit姿势检测API提供了动⼒。

MediaPipe姿势中的地标模型预测了33个姿势坐标的位置（参⻅下图）。

启动：