最適化 on ながむしメモ

【UE5】Niagara SimulationStageでNormalMapからHeightMapを復元する(Poisson方程式)

Sat, 16 Dec 2023 16:11:44 +0900

Unreal Engine Advent Calendar 2023 の16日の記事です. Unreal Engine (UE)のカレンダー | Advent Calendar 2023 - Qiita

最近HoudiniでNormalMapからHeightMapを復元するというものを見かけ,
Poisson方程式を解くのであればSimulationStageで実装することができるのではと考えました.

というわけで、@TearsOfJake さんのアドバイスを元に、ポアソン方程式を用いたノーマルマップからハイトマップの復元。昨日の勾配のみの復元に比べて圧倒的に安定している。
左：入力メッシュ
中：入力メッシュから求めたノーマルマップ
右：ノーマルマップから復元した高さ情報 pic.twitter.com/NiNyVvvrbS
— Akira Saito (@a_saito) 2023年11月5日

この記事では「NormalMapからHeightMapを復元する」という問題をSimulationStageで実装する方法を紹介します.
サンプルプロジェクトは以下のGoogleDriveになります (動作確認バージョン UE5.3).
ReconstructHeightMapFromNormal.zip - Google ドライブ

Niagara SimulationStage

Niagara SimulationStage はComputeShader的なGPGPU処理をNiagaraモジュールとして作成できる仕組みです.
Epic Games公式のNiagara Fluids等でも多用されています(本当にSimulationStageでほとんどの処理が作られていますまじかよ).

SimulationStage は2D/3Dのグリッド構造に対するGPGPU処理を比較的簡単に作ることができるように設計されています.
これには数値シミュレーションで必要とされる反復実行なども含まれています.
目的のタスクを適切な形に変形してSimulationStageで実装することで, GPUによる高速な実行が可能になります.

NormalMapからHeightMapを復元する問題

Poisson方程式

ある関数の二階の空間微分と別の関数との関係式をPoisson方程式といいます.
Poisson方程式は離散化によって連立一次方程式へ変形することができ, 連立一次方程式を解く方法は様々に研究されています.
対象の問題をPoisson方程式, ひいては連立一次方程式の形にすることができれば, Solverや解法を利用して解くことができます.

$\Delta \phi =-\dfrac{\rho}{\epsilon_0}$

Poisson方程式への変形

今回は NormalMapとHeightMapの関係をPoisson方程式で表現して離散化, 連立一次方程式として解くことにします.

NormalMapのxy成分はHeightMapの空間微分(勾配)から求められます.
$N_x(x,y)= -\dfrac { \partial H(x,y)}{\partial x}$
$N_y(x,y)= -\dfrac { \partial H(x,y)}{\partial y}$
さらにそれぞれ x, y で偏微分します.

$\dfrac {\partial N_x(x,y)}{\partial x}= -\dfrac { \partial^2 H(x,y)}{\partial x^2}$

$\dfrac {\partial N_y(x,y)}{\partial y}= -\dfrac { \partial^2 H(x,y)}{\partial y^2}$
ここで上の式はPoisson方程式の形になっています.

差分方程式

このPoisson方程式を離散化すると以下のようになります.
(東海大学理学部遠藤研究室さんのページ等がわかりやすいです. -> 電磁場(SP) )

$\frac {N_x(x+h,y) - N_x(x-h,y)}{2h}= -\frac {H(x+h,y)+H(x-h,y) - 2H(x,y)}{h^2}$
$\frac {N_x(x,y+h) - N_x(x,y-h)}{2h}= -\frac {H(x,y+h)+H(x,y-h) - 2H(x,y)}{h^2}$
(左辺は中心差分)

2つの式を足して左辺のNormalMap, 右辺にHeightMapに関わる項をまとめて整理します.
またテクセルでの微分(差分)のため $$h = 1$$ とします.
$- \frac {N_x(x+1,y) - N_x(x-1,y) + N_x(x,y+1) - N_x(x,y-1)}{2} \\= H(x+1,y)+H(x-1,y) + H(x,y+1)+H(x,y-1) - 4H(x,y)$

上の式の左辺は入力NormalMapとして与えられる既知の値, 右辺は求めたいHeightMapのいくつかの地点の値に係数をかけたものの和です.
よってこれは左辺を定数 $$b$$ , 未知のHeightMapを $$x$$ , 近傍HeightMap値への係数を行列 $$A$$ とした連立一次方程式ということになります.
$$b = Ax$$

連立一次方程式を解くために更に変形していきます.

Jacobi法

見通しをよくするために左辺は記号で置き換えておきます.
$-N_{d} = H(x+1,y)+H(x-1,y) + H(x,y+1)+H(x,y-1) - 4H(x,y)$
(ここで $N_{d} =\frac {N_x(x+1,y) - N_x(x-1,y) + N_x(x,y+1) - N_x(x,y-1)}{2}$ )

$$H(x,y)$$ に関する形に変形します.

$H(x,y) = \frac{(H(x+1,y)+H(x-1,y)+H(x,y+1)+H(x,y-1)) + N_{d} }{4}$

この式を反復的に計算することで $$H(x,y)$$ を解に近づけていく方法をJacobi法といいます.
プログラム的に考えるとHeightMapの各テクセルについて上下左右の近傍値とNormalMapの値を使って更新しているといえます.
現在のHeightMapから次のHeightMapの各テクセルを並列に計算できるためGPGPUとも相性が良いです.
次はJacobi法によるHeightMapの計算をNiagara SimulationStageで実装します.

Voxel Mesh化手法についてメモ( Voxel Meshing )

Sat, 22 Aug 2020 18:05:15 +0900

SDFなどのVoxelからMeshを生成する手法のメモ。

もとのSDFのセルと、Mesh化で管理されるVoxelは一致しないので注意。

もとのSDFのセル中心を頂点とするようなVoxel上でMesh化が実行される。

Marching Cubes

Polygonising a scalar field (Marching Cubes)

Voxelの頂点のパターンからそのVoxelのポリゴンパターンをLookupしてMesh化する。

シャープな形状が作りにくいらしい。

Dual Contour

https://people.eecs.berkeley.edu/~jrs/meshpapers/SchaeferWarren2.pdf

あるVoxelを構成する辺について、SDFをの符号が異なる両端を持つ辺に注目し、辺を横切るような等値面の交差位置と法線をSDFの勾配等から計算する。

一つのVoxelについて境界面は複数存在する可能性があり、すべての境界面からの距離の自乗和が最小になるような一点をそのVoxel内の頂点として最小二乗法で推定する。

すべてのVoxelについて上記の点を計算し、隣接Cellで点同士をつなげてMeshを構成する。

シャープな形状を作ることができるらしい。

Voxel毎に最小二乗法を解く必要があるためコストが高い可能性。

また自己交差メッシュができてしまう可能性もある。

SurfaceNets

https://www.merl.com/publications/docs/TR99-24.pdf
Smooth Voxel Mapping: a Technical Deep Dive on Real-time Surface Nets and Texturing | by DreamCat Games | Aug, 2020 | Medium
NaiveSurfaceNets/NaiveSurfaceNets.cs at master · TomaszFoster/NaiveSurfaceNets · GitHub

Meshを構成するVoxel内の頂点を推定することはDual Contourと同様だが、複数ある辺と等値面の交差位置を平均した地点を頂点位置とするところが異なる。

元のはてなブログ記事

最適化 Newton法メモ

Sat, 28 Jul 2018 00:24:57 +0900

自分の言葉で書いて覚えるため（誤りがあればご指摘ください）

関数 $f(\vec{x})$ の2次までのTaylor展開

$f(\vec{x} + \vec{h}) = f(\vec{x}) + dot(\nabla f(\vec{x}), \vec{h}) + \frac{1}{2} dot(\vec{h^T}, \nabla^2 f(\vec{x})\vec{h})$

ここで $\nabla^2 f(\vec{x})$ はHesse行列

右辺を最小化にするような $\vec{h}$ によって $\vec{x}_{next} = \vec{x} + \vec{h}$ と更新することで
$f(\vec{x})$ をより小さくする $\vec{x}$ が得られる。
そのために $\vec{h}$ で微分して $$=0$$ となるような $\vec{h}$ を求める

$\frac{\mathrm{d} f(\vec{x}+\vec{h})}{\mathrm{d} \vec{h}} = \frac{\mathrm{d} f(\vec{x})}{\mathrm{d} \vec{h}} + \frac{\mathrm{d} dot(\nabla f(\vec{x}), \vec{h})}{\mathrm{d}\vec{h}} + \frac{1}{2} \frac{\mathrm{d} dot(\vec{h^T}, \nabla^2 f(\vec{x})\vec{h})}{\mathrm{d} \vec{h}} = 0$

右辺第一項は変数 $\vec{h}$ が無いので $$0$$

右辺第二項は内積をベクトル $\vec{h}$ で微分するので $\nabla f(\vec{x})$

右辺第三項は二次の同次多項式の二次形式 $dot(\vec{x^T}, A\vec{x})$ の微分なので、

$\frac{1}{2} \frac{\mathrm{d} dot(\vec{h^T}, \nabla^2 f(\vec{x})\vec{h})}{\mathrm{d} \vec{h}} = \frac{1}{2} (\nabla^2 f(\vec{x}) + \nabla^2 f(\vec{x})^T)\vec{h}$