Clothing-Transparent Motion Capture
Clothing-Transparent Motion Capture
衣服の下に隠れた関節を「見る」技術（赤外線×同軸撮影）
ゆったりした服を着ていると、カメラ画像から人の関節位置を正確に推定するのは難しくなります。 私たちは、関節位置を推定するのではなく観測するという発想の転換で、服の下の関節位置を高精度に取得する仕組みを研究しています。
アイデア：
- 関節に近赤外LED（目に見えない光）を取り付ける
- ハーフミラー等の光学系を用いて、RGB画像とIR画像とを同じ視点・同時刻で取得
- 近赤外光は布を透過しやすい性質があります。そのためIR側では関節につけた近赤外LEDが直接見えるため、RGB画像に対して正確な関節位置の教師データを作ることができる
期待できる応用：
- スポーツ動作解析（フォームの定量評価）
- リハビリ・ヘルスケア（関節の動きの計測）
- 高精度な姿勢推定AIの学習データ作成
左は可視画像。LEDは見えない。右はIR画像。LEDが透過して確認できる。
関連する成果：
- 山口貴善, 三上弾, 松村聖司, 西條直樹, 柏野牧夫, ゆったりとした衣服を着用した人物の姿勢推定: HFR カメラと複数 LED を用いた学習データ作成, IEICE-MVE, 2023 MVE賞およびヒューマンコミュニケーション賞受賞
- 北野大志, 松村聖司, 西條直樹, 柏野牧夫, 三上弾, ゆったりとした衣服を着用した人物の姿勢推定 IR カメラと赤外線LED を用いた基礎検証, IEICE-MVE, 2025