魔法一样隔空在屏幕写字,捏起手指就能实现,在线可玩

本篇文章给各位网友带来的资讯是：魔法一样隔空在屏幕写字，捏起手指就能实现，在线可玩 详情请欣赏下文

空中画符的中二技能，谁不想拥有呢？

不如捏一只万能的 AI 来当魔法画笔吧。

这是一个用来写写画画的手部跟踪程序，开发者将它命名为 YoHa（Your Hand Tracking）。

这个程序基于 TensorFlow.js 实现了实时识别功能，能达到不卡顿、无延迟的效果。

捏起手指就可以变成画笔，清空画布也只需握拳就能办到。

用 YoHa 给自己画特效的效果这么好，难怪可以获得 555 颗星。

这只 AI 怎么玩？

这款手势识别程序已经开源，开发者 Benjamin 大方地提供给了所有人使用“魔法”的机会。

既可以安装在自己的电脑上来玩，一行代码就能轻松实现。

npm install @handtracking.io/yoha

也可以在线试玩，直接用网页下载模型写写画画。

虽然 YoHa 目前只能对捏手指和握拳两个指令动作做出功能响应，但是因为有 TensorFlow.js 加持，它的性能可一点都不低。

21 个手部关节定位，左右手方向检测，手部姿势检测等都可以实时实现。

来看看“买家秀”是不是也一样秀。

如此好玩的 AI 背后，究竟是什么原理呢？

YoHa 模型使用 TensorFlow.js 深度学习框架来进行从头训练，开发过程包含了训练步骤和推理步骤两大部分。

它的模型训练阶段利用了自定义神经网络，以自定义数据集作为训练数据，而在线实时推理则用到了 TensorFlow.js 推理框架。

不过，因为 TensorFlow.js 规模的限制，比起电脑，YoHa 在移动设备上的表现较差。

另外，YoHa 的本地运行速度也比在线试玩快很多，果然驯服 AI 还是得先带回家里养。

手势识别有什么用？

YoHa 的开发者 Benjamin 提到，制作这个项目一开始是为了增加网络的互动性：

“现有的解决方案没有我想要的，所以我给自己创建了新的解决方案”

不愧是动手能力强的大佬，没有自己想要的，那就自己造一个。

手势识别这么火，干脆多开发一些玩法，添加更丰富的功能让 VR/AR 更好玩。

针对之前提到的 YoHa 性能缺陷，Benjamin 也给玩家提供了高性能备选方案：通用手势识别模型 MediaPipe。

如果高端玩家对性能有更高追求，可以在这个经典模型基础上进行功能扩展。

比如不久前以 MediaPipe 为基础开发的类似项目 air-drawing，在玩法上和 YoHa 稍有不同。

感兴趣的话，自己去驯服一只 AI 来写字画画吧。

GitHub 地址：

https://github.com/handtracking-io/yoha

试玩地址：

https://handtracking.io/draw_demo/

https://loicmagne.github.io/air-drawing/