ハンドトラッキング流体シミュレータ

製作したもの

カメラに表示されている人間の右手の人差し指の座標を取得し、そこから流体シュミレータに外力として与えるような物を作りました。

流体シュミレータ

Touchdesignerを用いてシミュレータを製作しています。youtubeの動画と同じものを作っています。

ハンドトラッキング

Googleが提供しているMediaPipeを用いて画像認識にて座標を取得しました。動画では体全体の座標を取っていますが、完成品では右手の人差し指だけに限定しています。
MediaPipeで取得する座標とtouchdesigner内での座標では原点や方向が違ったため、変換したものをUDPでTouchdesignerに送っています。

動作の様子

完成したもの

く