場を、掛け合わせる ── 熱×深度のセンサフュージョン

①で、距離の場を測る目ができた。②で、温度の場を測る目ができた。今日は、この二つを机の上で 同じ方向に向けて、並べる。

その前に、一人ずつの「思い違い」を、正面から見ておこう。

ToFの視野に、何かが近づいてくる。60cm、50cm、40cm ── 距離の場には、近い値の塊がはっきり映る。でも、それが何かは、まったく分からない。人かもしれない。段ボール箱かもしれない。ToFが測ったのは「光が往復した時間」だけで、その定義のどこにも「何が」は入っていない。これは性能の限界じゃなく、測っている量の限界 だ。

サーマルも同じだ。視野の右上に、温かい塊が映る。人の顔かもしれない。でも、3m先の照明かもしれないし、10cm先の湯呑みかもしれない。②で見たとおり、サーマルが受け取るのは「届いた9µmの光の強さ」で、その光がどれだけ旅してきたかは、どこにも書いていない。

つまり ── ToFは「どこに」を知っていて「何が」を知らない。サーマルは「どんな温度が」を知っていて「どこに」を知らない。きれいに、互いの穴が相手の得意と噛み合っている。

足すのではなく、掛ける

重ね合わせの回で、線形な世界の合言葉を覚えた ── 足す。波と波は足せる。返事と返事は足せる。あの「足す」は、同じ種類の量どうしを混ぜる操作だった。

今日やることは、それとは違う。距離の場と温度の場は 種類が違う量 で、足しても意味のある数にならない（500mm＋36℃は、何でもない）。代わりにやるのは ── 視野の同じ場所どうしを見比べて、条件で結ぶ ことだ。

$\text{近い}(x,y) \;\land\; \text{温かい}(x,y)$

── 読み方はそのまま、「その方向 $(x,y)$ が、近く かつ 温かいか」。$\land$ は「かつ」（AND）の印。数式というより、論理の式だ。

この小さなANDが、単独のセンサには原理的に作れなかった区別を生む：

• 近い ∧ 温かい ── 生き物がそばにいる（人、猫、あるいは君の手）
• 近い ∧ 温かくない ── ただの物が近い（箱、壁、ドア）
• 近くない ∧ 温かい ── 遠くの熱源（照明、向こうの家電）

足し算は情報を 混ぜる。ANDは情報を 絞る。線形の世界で「足す」だけを頼りに歩いてきた連載からは、ここが一歩外に出る瞬間だ ── 世界を測るだけでなく、測った場と場を突き合わせて、世界に問いを立てる。

下のラボで触ってみて。左が温度の場、右が距離の場。「熱深度」をONにして、しきい値を2本（どこから「近い」か、どこから「温かい」か）動かすと、両方を満たす場所だけが縁取られる。デモには、人（近くて温かい）・箱（近いだけ）・照明（温かいだけ）がいる ── 縁取られるのが誰か、見てほしい。

地味な主役 ── 位置合わせ

「重ねるだけ」と言ったけれど、実際に手を動かすと、主役は別のところにいると気づく。二つの場の、目盛りを合わせる仕事 だ。

空間を合わせる。 二つのセンサは机の上で数cm離れていて、視野の広さも違う（ToFは約45°、サーマルは約55°×35°）。「右のセンサの画素(3,5)」と「左のセンサの画素(14,20)」が同じ方向を見ている保証は、どこにもない。真面目にやるなら幾何の較正、素朴にやるなら「並べて正対させて、だいたい合っていることにする」── どちらにしても、合わせたという仮定 が結果に一枚挟まる。

解像度を合わせる。 8×8と32×24では格子の細かさが違う。粗い方を細かい方に引き伸ばして重ねる ── 横は $32\div8=4$、縦は $24\div8=3$ だから、8×8の1マスの距離が、32×24側の $4\times3=12$ マスに同じ値でコピーされる。境目はガタガタになる。それでいい、と割り切るのも設計だ。

時間を合わせる。 ToFは毎秒15回、サーマルは毎秒2回更新される。「同じ瞬間」の場は、実は存在しない ── いつも、少しずつ時刻のずれた場を重ねている。動きの速いものでは、これが効いてくる。

空間・解像度・時間。この三つの位置合わせは、自動運転車がLiDARとカメラを重ねるときも、天文学者が電波と可視光の観測を重ねるときも、骨格はまったく同じだ。フュージョンの賢さの半分は、重ねる前の、この地味な下ごしらえに宿る。

グリーン関数と、もう一度

ここで、懐かしい顔に再会する。

①のToFがやっていたことを、連載の言葉で言い直すと ── 世界に インパルス（一発の光）を打ち込んで、返事が遅れて届く のを記録していた。あれは、時空のグリーン関数の測定そのものだ。部屋の隅で山が二つに割れるマルチパスも、「別の道を旅した返事は、別の遅れで届く」── グリーン関数の足し算が、そのまま測定に現れた姿だった。

②のサーマルにも、グリーン関数は潜んでいる。熱い点に指で一瞬触れると、その熱は輪郭を保たずに、ガウス関数の形でじわりと広がっていく ── これは熱拡散方程式の「一点を叩いたときの返事」、つまり拡散のグリーン関数だ。波の返事は輪になって旅をしたけれど、熱の返事は その場でぼやけて薄まる。同じ「一発の返事」でも、方程式が違えば、返事の性格がまるで違う ── サーマル画像の輪郭がどこか柔らかいのは、光学のせいだけじゃなく、熱という量そのものが、こういう返事しかできないからでもある。

そして、雑音の中からヒストグラムの山を探す①のやり方は、通信の受信機が雑音の中から「自分の知っている形」を探す 相関 の考え方と同じ骨だ。通信の章で歩いた世界と、測定の世界は、底のほうで同じ道具箱を共有している ── 一発の返事、遅れ、相関、そして統計。

正直な話

最後に、ごまかさずに言っておきたいことがある。

今日のANDは、しきい値を手で選んでいる。「600mmより近い」「31℃より温かい」── この数字は部屋と季節と用途で変わるし、選び方に理屈の裏付けがあるわけでもない。温かい箱（ノートPCとか）は堂々と誤検出されるし、冷たい飲み物を持った手は半分見失う。

じゃあ市販の「人感」製品はどうしているかというと、ルールを増やすか（大きさ・動き方・時間の続き方）、データから境界を学習させるか、だ。道具は高級になるけれど、種類の違う測定を突き合わせて区別を作る という骨は、今日の小さなANDと変わらない。骨が分かっていれば、高級な道具がブラックボックスに見えなくなる ── この連載がずっと目指してきたのは、たぶんそういうことだ。

── 三部作を畳もう。光の遅れで距離を測った。物が勝手に放つ光で温度を測った。そして今日、二つの場を重ねて、世界に小さな問いを立てた ── 「そこにいるのは、生き物？」

保存則の連載は「数えて、足す」で世界を組み上げた。今日の話はその隣に、もう一本の柱を立てる ── 測って、突き合わせて、区別する。柱が二本あると、次の問いが自然に湧いてくる。音の場を重ねたら？　磁場の目を足したら？　── 机の上のセンサは数千円で、場はいつでもそこにある。どれから重ねるかは、君が決めていい。