動画に重ねる

いよいよ最後のステージだ。チート900のアニメーションは、もとの動画とぴったり重なるように調整した。そのためには、3Dの体を、動画を撮ったカメラから見た画面の上に写す計算が要る。これを投影という。実は、ステージ1からずっと使ってきた3Dの図も、毎回この計算で画面に写しているんだ。

カメラには3本の向きがある。画面の右へ向かう向き r、上へ向かう向き u、カメラが見ている奥への向き f。どれも長さ1で、互いに直角だ。カメラの位置を E、写したい点を P として、d ＝ P − E とする。ステージ2の内積を使えば、d がそれぞれの向きにどれだけ進んでいるかがわかる。そして、遠い物ほど小さく見えるので、奥行き c で割る。焦点距離は、カメラのレンズで決まる拡大の倍率だと思えばいい。

その通り。それが今日の大問題につながる。点 P をカメラから見たまっすぐな線、つまり光の通り道に沿って動かすと、a、b、c が同じ割合で変わるから、a ÷ c と b ÷ c は変わらない。画面の上ではまったく動かないんだ。下の図で、蹴り脚の膝から下を、それぞれの光の通り道に沿って奥へ動かしてみよう。

そう。動画1本からは、奥行きが決まらないんだ。動画の上で重なるだけなら、脚は光の通り道のどこにあってもいい。最初に動画に合わせたとき、正面から見た形が大きく変わってしまったのは、この奥行きをでたらめに決めてしまったからだった。そこで、動画に重ねること以外にも条件を加えて、「いちばんよい」位置を1つに決める。そのときに使うのが最小二乗法だ。まず簡単な例から。ある長さを3回測って、2 cm、3 cm、7 cm だったとする。本当の長さとしていちばんよいのは、いくつだろう？

答えの候補を x として、測った値とのずれ x − 2、x − 3、x − 7 を考える。ずれはプラスにもマイナスにもなるから、2乗して足したものを「ずれの大きさ」とし、これがいちばん小さくなる x を選ぶ。これが最小二乗法だ。下の図で x を動かして、S がいちばん小さくなる所を探してごらん。

見事だ。2乗の合計を最小にすると、自然に平均が出てくる。ステージ6の重心も、ステージ8のフィルタも、重みつき平均だったね。実は、重みつき平均は、重みつきの2乗の合計 Σ w(x − xᵢ)² を最小にする答えでもある。いままで出てきた平均は、全部この考え方でつながっているんだ。
アニメーションを動画に重ねたときは、毎コマ、体の点の位置を少しずつ動かしながら、4つの条件に重みをつけて足した量をいちばん小さくした。正面から見た図、つまり目標側から見た図には、的の方向の位置は写らない。正面の図にとっては、的の方向が「奥行き」なんだ。

その通り。動画のカメラは斜めから撮っているので、光の通り道は的の方向にも傾いている。だから、正面から見えない的の方向に点をずらせば、正面から見た形を変えずに光の通り道に乗せられる。骨の長さは変わってはいけないから、いちばん重い 300 にした。重みの大きさで、どの条件をどれだけ優先するかを決めるんだ。下の図は、1つの点だけで考えた小さな模型だ。上から見ていて、左下のカメラからの光の通り道（点線）の上に点を乗せれば、動画と重なる。もとの位置（黒）は通り道から外れている。

そうだ。正面から見えない向きを自由にしておけば、正面から見た形をほとんど変えずに動画に重ねられる。実際のチート900では、この計算を24個の点と骨の長さの条件で、毎コマ行った。式が複雑なので、一度に答えは出せない。そこで「いまの位置から、S が小さくなる向きへ少しだけ動かす」をくり返して、S がそれ以上小さくならない所まで進める。この方法をくり返し計算（ここで使ったのはレーベンバーグ・マーカート法）という。こうして、正面から見た形の変化を平均 2 cm ほどに抑えたまま、動画にぴったり重ねることができたんだ。

どれも、ばらばらの道具ではない。「矢印を足す・測る・回す」と「重みつきで平均する」の2つが、形を変えて何度も出てきた。ゲームやロボット、映画のCGでも、中で動いているのは同じ道具だ。次に3Dの動きを見たら、どんな計算が隠れているか、想像してみてほしい。