「Vtuberの雑学メモ帳」

注目ゲームの攻略記事＆VTuber関係の記事をまとめる趣味100％の雑記ブログ。※少年Vtuber「不断シエル」と姉が運営しています。

トップ > Vtuber > 【無料】WEBカメラだけで3DフルトラッキングVTuberに？「ThreeDPoseTracker」の使い方解説

【無料】WEBカメラだけで3DフルトラッキングVTuberに？「ThreeDPoseTracker」の使い方解説

Vtuber Vtuber-技術部

今回はWEBカメラや動画ファイル(mp4)を用意するだけでVRoidなどの3Dモデルを自由に動かせるフリーソフトを紹介するぞ！

search.n2sm.co.jpこの「ThreeDPoseTracker」を使うと、なんとWEBカメラだけで全身を動かせる。

(ios専用のスマホアプリ「ミチコンPlus」に近いことができる画期的な無料PCソフトだ…！)

↓ThreeDPoseTrackerの凄さは、以下のツイートを見れば一瞬で分かるはず！

俺はたまたまこの動画を見かけたんだけど、動きの再現度が高くて驚いた。
かなり面白そうだったので、早速TDPTを試してみたぜ。

 

◆ThreeDPoseTrackerの使い方(図解)

f:id:VtuberHudan:20200907193104p:plain

[↑動画とVRMの読み込み方(メイン画面)]

 

f:id:VtuberHudan:20200907193105p:plain

[↑設定画面の解説]

 

◆動画(mp4)からトラッキングする時の使用方法

まずはスマホやビデオカメラなどで動画を撮影し、PCに動画データを移そう。

※IPhoneなどで撮影した動画はmovファイルで保存されるので、そのままだとThreeDPoseTrackerには読み込めないぞ！

  1. スマホで動画を撮影する。
  2. スマホをUSBケーブルでPCにつなぎ、PC側に動画データを移す。
  3. Windows10に内蔵されている初期ソフト「フォト」を使い、movファイル→mp4ファイル変換を行う。
    (※Windows7などを使っている人はWindowsムービーメーカーを使うとmov→mp4変換ができる)
  4. 変換後のMP4をTDPTに読みこみ、3Dモデルを動かす。
    モデルを読み込んだ後、自動でトレースが始まるので特に再生ボタンを押す必要はなかった。

★モーションキャプチャーの精度が悪い場合は、フォト側でmp4に変換する時に再生速度を落として出力すると改善されるかも。

★足先や頭頂部が映像内におさまっていないと上手くモーションキャプチャーできない。
広めの部屋にてカメラから距離をとった状態でトラッキングor撮影を行おう。

★体のラインが分かる服装をして、背景と人物が同化しないような場所で撮影するのがオススメ。
8畳～12畳くらいの部屋だとやりやすいと思う。

 

◆配信・動画撮影時の使用方法

  1. TDPT側の設定欄からShow Source Imageをオフにして、トラッキング元の映像ソースを非表示にする。
  2. 用意したVRMモデルを読み込む。
  3. TDPT側でグリーンバック(緑背景)を設定する。
  4. PCに「Unity Video Capture」という無料ソフトを導入して、OBS側へTDPTの映像を取り込む準備をしておく。
    (UVCの導入方法は後述するツイートを参考にすれば簡単なはずだ！)
  5. OBSの左下の欄に[映像キャプチャデバイス]を追加し、[Unity Video Capture]をソースとして設定する。
  6. [映像キャプチャデバイス]を右クリック後、[フィルター]から[クロマキー]を追加してグリーンバックを消す。
  7. 画面上の好きな位置に仮想カメラウィンドウを配置する。
    (カメラ画面のトリミングは赤い枠の四隅をAlt＋ドラッグすればできる)

※あらかじめTDPT設定欄の「Use Unity Video Capture」項目にチェックを入れておかないとOBS側へ取り込めないので注意だ。

【参考：Unity Video Captureの導入方法】

 

◆感想

★たまに足がふわふわしたり、トラッキングが外れて化け物のようなポーズになったりすることもあるけど、フリーソフトとは思えないクオリティだった！

VRoid産の3Dモデルを使っている人で「ちょっとしたオリジナルMVを作ってみたい」と考えている人は使ってみると良いかも！？

すごく良いソフトではあるものの、「踊ってみた」などを撮るのは難しいと思う。
全身を映してなんとなく動きながら雑談配信をしたいという人にはオススメ。

まだα版ながら完成度は高く、ダンス動画を読み込むだけで用意したVRMモデルを踊らせることができるのでとても楽しかった。


★一応TDPTでは「BVH」というモーションデータの書き出しにも対応しているらしい。
BVHはたしかVRM Live Viewerや3teneで使えるデータだったと思うんだけど、動画からBVHを書き出して前述した2つのソフトに読み込んでみてもエラーで使えなかった。

(ググったら普通にBVHを書き出して利用している人も居るらしく、俺の使い方が間違っていたのかも…)

↓BVHはMMD用のモーションデータVMDに変換する方法もあるんだとか！

wotakunahibi.hatenablog.comBVHを書き出せない原因が分かったら挑戦してみたいぜ…！



★ちなみにTDPT開発者さんのツイートによると、今後リップシンクや自動瞬きの追加を予定しているそうだ！
今後の開発状況からも目が離せないな！