GPGPU on ながむしメモ

【UE5】Niagara SimulationStageでNormalMapからHeightMapを復元する(Poisson方程式)

Sat, 16 Dec 2023 16:11:44 +0900

Unreal Engine Advent Calendar 2023 の16日の記事です. Unreal Engine (UE)のカレンダー | Advent Calendar 2023 - Qiita

最近HoudiniでNormalMapからHeightMapを復元するというものを見かけ,
Poisson方程式を解くのであればSimulationStageで実装することができるのではと考えました.

というわけで、@TearsOfJake さんのアドバイスを元に、ポアソン方程式を用いたノーマルマップからハイトマップの復元。昨日の勾配のみの復元に比べて圧倒的に安定している。
左：入力メッシュ
中：入力メッシュから求めたノーマルマップ
右：ノーマルマップから復元した高さ情報 pic.twitter.com/NiNyVvvrbS
— Akira Saito (@a_saito) 2023年11月5日

この記事では「NormalMapからHeightMapを復元する」という問題をSimulationStageで実装する方法を紹介します.
サンプルプロジェクトは以下のGoogleDriveになります (動作確認バージョン UE5.3).
ReconstructHeightMapFromNormal.zip - Google ドライブ

Niagara SimulationStage

Niagara SimulationStage はComputeShader的なGPGPU処理をNiagaraモジュールとして作成できる仕組みです.
Epic Games公式のNiagara Fluids等でも多用されています(本当にSimulationStageでほとんどの処理が作られていますまじかよ).

SimulationStage は2D/3Dのグリッド構造に対するGPGPU処理を比較的簡単に作ることができるように設計されています.
これには数値シミュレーションで必要とされる反復実行なども含まれています.
目的のタスクを適切な形に変形してSimulationStageで実装することで, GPUによる高速な実行が可能になります.

NormalMapからHeightMapを復元する問題

Poisson方程式

ある関数の二階の空間微分と別の関数との関係式をPoisson方程式といいます.
Poisson方程式は離散化によって連立一次方程式へ変形することができ, 連立一次方程式を解く方法は様々に研究されています.
対象の問題をPoisson方程式, ひいては連立一次方程式の形にすることができれば, Solverや解法を利用して解くことができます.

$\Delta \phi =-\dfrac{\rho}{\epsilon_0}$

Poisson方程式への変形

今回は NormalMapとHeightMapの関係をPoisson方程式で表現して離散化, 連立一次方程式として解くことにします.

NormalMapのxy成分はHeightMapの空間微分(勾配)から求められます.
$N_x(x,y)= -\dfrac { \partial H(x,y)}{\partial x}$
$N_y(x,y)= -\dfrac { \partial H(x,y)}{\partial y}$
さらにそれぞれ x, y で偏微分します.

$\dfrac {\partial N_x(x,y)}{\partial x}= -\dfrac { \partial^2 H(x,y)}{\partial x^2}$

$\dfrac {\partial N_y(x,y)}{\partial y}= -\dfrac { \partial^2 H(x,y)}{\partial y^2}$
ここで上の式はPoisson方程式の形になっています.

差分方程式

このPoisson方程式を離散化すると以下のようになります.
(東海大学理学部遠藤研究室さんのページ等がわかりやすいです. -> 電磁場(SP) )

$\frac {N_x(x+h,y) - N_x(x-h,y)}{2h}= -\frac {H(x+h,y)+H(x-h,y) - 2H(x,y)}{h^2}$
$\frac {N_x(x,y+h) - N_x(x,y-h)}{2h}= -\frac {H(x,y+h)+H(x,y-h) - 2H(x,y)}{h^2}$
(左辺は中心差分)

2つの式を足して左辺のNormalMap, 右辺にHeightMapに関わる項をまとめて整理します.
またテクセルでの微分(差分)のため $$h = 1$$ とします.
$- \frac {N_x(x+1,y) - N_x(x-1,y) + N_x(x,y+1) - N_x(x,y-1)}{2} \\= H(x+1,y)+H(x-1,y) + H(x,y+1)+H(x,y-1) - 4H(x,y)$

上の式の左辺は入力NormalMapとして与えられる既知の値, 右辺は求めたいHeightMapのいくつかの地点の値に係数をかけたものの和です.
よってこれは左辺を定数 $$b$$ , 未知のHeightMapを $$x$$ , 近傍HeightMap値への係数を行列 $$A$$ とした連立一次方程式ということになります.
$$b = Ax$$

連立一次方程式を解くために更に変形していきます.

Jacobi法

見通しをよくするために左辺は記号で置き換えておきます.
$-N_{d} = H(x+1,y)+H(x-1,y) + H(x,y+1)+H(x,y-1) - 4H(x,y)$
(ここで $N_{d} =\frac {N_x(x+1,y) - N_x(x-1,y) + N_x(x,y+1) - N_x(x,y-1)}{2}$ )

$$H(x,y)$$ に関する形に変形します.

$H(x,y) = \frac{(H(x+1,y)+H(x-1,y)+H(x,y+1)+H(x,y-1)) + N_{d} }{4}$

この式を反復的に計算することで $$H(x,y)$$ を解に近づけていく方法をJacobi法といいます.
プログラム的に考えるとHeightMapの各テクセルについて上下左右の近傍値とNormalMapの値を使って更新しているといえます.
現在のHeightMapから次のHeightMapの各テクセルを並列に計算できるためGPGPUとも相性が良いです.
次はJacobi法によるHeightMapの計算をNiagara SimulationStageで実装します.

UE5 Geometry Script を利用した頂点単位リアルタイムアニメーション

Sun, 02 Oct 2022 19:41:37 +0900

Geometry Scriptの利用の一環で

入力メッシュの頂点インデックスをUV1に埋め込み、外部テクスチャに頂点座標をベイク
上記で生成したメッシュとテクスチャを利用してマテリアルで頂点単位バネアニメーション

というものを試してみました

realtime fake secondary motion (WIP.
position, rotation, and scale operations in editor mode.

Editorモードでの位置とスケールの操作プレビュー対応まで.

あとプルプルしすぎていたので更に調整.#UE5 pic.twitter.com/xgzYPtIGpw
— なが (@nagakagachi) 2022年8月21日

サンプル

レベルに配置されている BP_ControllerInEditorTick を動かすとプルプルします.
Playを実行すると物理で動くモデルがプルプルします.
github.com

構成

BP_GenerateMeshForPerVertexAnim
- 入力StaticMeshアセットから以下のようなアセットを生成する
  - UV1に頂点インデックスを埋め込んだStaticMesh
  - 頂点インデックスに対応したテクセルにローカル頂点座標をベイクしたテクスチャ
BP_PerVertexAnimationTest
- 上記で生成したMeshとテクスチャを利用して頂点単位バネシミュレーションをマテリアル(GPU)で計算する
BP_ControllerInEditorTick
- Editorモードのマニピュレータ操作でバネシミュをプレビューするためのコントローラ

導入

プロジェクトで Geometry Script プラグインを有効化

編集/プラグインエディタから Geometry Script のチェックボックスをONにする
必要ならEditorの再起動をする

PerVtxAnimWithGeometryScriptを取り込み

Windowエクスプローラ上などからプロジェクトのContentフォルダにサンプルの
PerVtxAnimWithGeometryScriptフォルダ
をコピー

生成用サンプルアクターをレベルに配置

BP_GenerateMeshForPerVertexAnim をレベルに配置

生成用サンプルアクターにアセットを設定

BP_GenerateMeshForPerVertexAnimアクターに変換元Mesh, 出力先Mesh & RenderTargetを設定
Sm Src Mesh に変換元のStaticMeshを設定, 図は同梱しているウシモデル(Spot)を設定している様子
Tex Bake Position Target にベイク情報を出力するRenderTargetを設定
Sm Bake Target に変換結果のMeshを出力するStaticMeshを設定

アセット生成

Geometry Scritpが駆動して Sm Bake Target と Tex Bake Position Target のアセットに生成物が保存される
Geometry Scritpはアクターのパラメータ変更等で駆動するため, 位置の変更や Enable Regenerate Mesh のONOFF等でトリガーされる

Sm Bake Target にはUV1に頂点インデックスを埋め込んだStaticMeshが出力される
Tex Bake Position Target には頂点インデックスに対応するテクセルに頂点座標がベイクされたテクスチャが出力される
これらのアセットを利用してリアルタイムに頂点単位アニメーションを実現する

ランタイムサンプルアクターをレベルに配置

BP_PerVertexAnimationTest は上記アクターで生成されたメッシュとテクスチャを利用するサンプル

ランタイムサンプルアクターにアセットを設定

BP_PerVertexAnimationTest で生成されたメッシュとテクスチャをそれぞれ
Mesh Vtx Attr Baked と Tex Vtx Attr 0 に設定

InstantNeRFで任意画像から3D再構成をするまでの流れメモ

Sat, 06 Aug 2022 18:43:49 +0900

NVIDIA InstantNeRF (InstantNGP) の環境セットアップと,
自身で用意した画像群を使った3D再構成をするフローのメモ.

基本的に公式リポジトリのセットアップ手順そのまま.
github.com

セットアップ
3D再構成の準備
- COLMAP
  - ダウンロード
  - 環境変数Pathへの追加
3D再構成

セットアップ

実行環境

WIndows10 64bit

RTX 3070

Requirementsのセットアップ

CUDA

"v10.2 or higher"
11.7 をインストール.
developer.nvidia.com

UE4マテリアルによるDistanceField生成(Jump Floodingアルゴリズム)

Sun, 07 Nov 2021 23:19:35 +0900

2023/12/16更新
SDF生成ツールをUE5向けに公開しました.
SDFテクスチャをテクスチャ2Dから生成するUE5上のツール.
別の作業のために生えてきた. Jump FloodingをGPU(マテリアル)で実行.

入力テクスチャは黒かそうでないかで外部/内部扱いしたSDF計算. 出力は RチャンネルにUV距離, Gチャンネルに内部フラグ. MIT License #UE5 https://t.co/6GdbEja9o3 pic.twitter.com/ogWdxzP5Xm
— なが (@nagakagachi) 2023年12月2日

サンプルプロジェクト有 (UE4.27).

Jump Flooding アルゴリズムによるDistanceField生成をUEマテリアルで実装したメモ.
ついでに Editor Utility Widget でSeedテクスチャの生成とDistanceFieldの生成をトリガーするテスト.

Jump Flooding Algorithm (JFA)の詳細については各種資料参照.
https://www.comp.nus.edu.sg/~tants/jfa/i3d06.pdf
Jump flooding algorithm - Wikipedia
GPU Voronoi Diagrams using the Jump Flooding Algorithm / Ricky Reusser | Observable

サンプルプロジェクト
- DistanceFieldテクスチャ生成手順
- アセット説明
Jump Flooding ステップ
その他

サンプルプロジェクト

DistanceFIeldByJFA00.zip - Google ドライブ

プロジェクトの[ThirdPersonBP/DF]に関連BPやマテリアル等がある.

DistanceFieldテクスチャ生成手順

EUW_JfaTestアセット を右クリック->Run Editor Utility Widget でWidgetを表示する.
Generate Seed Texture ボタン を押すとマテリアルによってSeedテクスチャが更新される.

Generate SeedTexture

Run JFA ボタン を押すとSeedテクスチャを元にDistanceFieldテクスチャが生成される.

Generate DistanceField

アセット説明

RT_Seed
- DistanceFieldの元になるSeedテクスチャ. 黒テクセルは無効で, それ以外の色のテクセルがSeedとして評価される.
- どんなテクスチャでもよいが,今回はマテリアルM_DistanceSeedでその場で生成している.
- サイズはデフォルト512x512だが変更可能. ただし動作確認しているのは2の冪のみ.
RT_Jfa0
- DistanceFieldの出力先テクスチャ.
M_DistanceSeed
- Seedテクスチャの生成用マテリアル. 適当な計算で適当な位置に黒(0,0,0)ではないSeedを書き込む.
MF_JumpFlood
- JFAのメイン処理をCustomNodeで記述したMaterialFunction. M_JumpFlood_SetupとM_JumpFlood_Itrはこれを呼び出す.
M_JumpFlood_Setup
- JFAの初回パス用マテリアル. Seedテクスチャを元に黒(0,0,0)ではないテクセルをSeedとしてJFAの初回パスを実行する.
M_JumpFlood_Itr
- JFAの反復パス用マテリアル. 基本的には初回パスと同じだが,JFA入力が前回のJFAパスの結果テクスチャになる.
M_JumpFlood_Copy
- JFA結果テクスチャを元に出力先テクスチャRT_Jfa0 へ出力するマテリアル.
EUW_JfaTest
- JFA処理のMaterialDrawなどをするWidget. 今回のJFA関連の処理はほぼここに書いてある.
- JFAのワークテクスチャ(PingPong用に2枚)を内部で生成して利用する.
- JFA自体はテクスチャサイズXに対して (log2(X)-1)回のマテリアルDrawで完了する.

InstancedStaticMeshとCustomDataとTextureで大量オブジェクト (UE4 Advent Calendar 2020)

Tue, 15 Dec 2020 00:05:00 +0900

UE4 AdventCalendar2020 15日目の記事となります
Unreal Engine 4 (UE4) Advent Calendar 2020 - Qiita

サンプルプロジェクトは以下(UE4.26)
github.com

やりたいこと
仕組みの概要
事前情報
- CustomData
- CanvasObject
TextureRenderTarget2Dの準備
InstancedStaticMeshComponentの設定
Instance番号をCustomDataに設定
Instanceの基準位置をテクスチャに書き込み
変位テクスチャによってメッシュを動かすマテリアル
変位テクスチャ更新マテリアル
速度テクスチャ更新マテリアル
まとめ

やりたいこと

大量のインスタンスメッシュについて個別のパラメータをBPからマテリアルへ渡す
大量のインスタンスメッシュのパラメータ更新をGPGPU(マテリアル)で高速に実行する
BPのみでつくる (C++つかわない)

このような要素を含んだデモとして以下のようなサンプルを作成しました。

基準位置とバネで接続された物体のシミュレーション
- バネによる速度の変化
- 速度による位置の変化
- プレイヤーとのインタラクション

youtu.be
youtu.be
以降の説明は基本的にこのデモをベースにしていきます。

仕組みの概要

今回紹介する方法は大まかに以下のような流れになります。

InstancedStaticMeshのCustomDataにInstance番号を設定する
テクスチャを配列データに見立ててInstanceパラメータを格納する
Instanceパラメータテクスチャをマテリアルで更新する
マテリアルでInstance番号に対応したパラメータをテクスチャから取得して使う

UE4 ComputeShader Write, Material Read (GPGPU)

Fri, 20 Mar 2020 06:00:00 +0900

エンジンバージョン:4.24 (4.25がリリースされたら対応予定)

はじめに
サンプルコード
説明
サンプルコードの概要

ComputeShaderで計算した結果を、RWテクスチャを利用してダイレクトにマテリアルで利用する。↓はサンプルコードの実行の様子。

ﾜｻﾜｻﾜｻ

記事用のサンプルはもうこれでいいか（妥協#UE4Study pic.twitter.com/qCDI2oPJHr
— なが (@nagakagachi) 2020年3月19日

はじめに

前回の記事ではComputeShaderでメッシュ情報を直接生成する方法を紹介した。前回記事の手法では頂点カラー等を利用することでComputeShaderからマテリアルへ追加情報を渡すことができる。しかし頂点データの一部を間借りすることから渡せる情報に制限がある。
当記事ではComputeShaderが書き込みをしたRWテクスチャをそのままマテリアルで利用することで頂点データ利用に比べてより自由に情報を受け渡す方法を検証してうまくいったので公開。そもそもこんな面倒なことしなくても可能な方法があるかもしれないので注意。
(GlobalShader利用, エンジン改造無し)

サンプルコード

uprojectファイルを右クリック→Generate Visual Studio project files でプロジェクトコード生成.
github.com

説明

RWテクスチャ定義

マテリアルで利用可能且つComputeShaderで書き込みが可能なUAVリソースとしてのテクスチャが必要であるため、UTextureRenderTarget2Dを継承したRWテクスチャを定義する。
bCanCreateUAVにtrueを指定することでリソース自体がUAV利用可能な設定で作成される。ただしこの設定だけではUAVが作成されないため(メンバ変数uav_)、RWテクスチャとして利用するComputeShader処理側で必要なときに生成する(後述)。
また、UAVの破棄はRenderThreadで処理する必要があるのでデストラクタでRenderThreadのコマンドとして発行している。

// UavTextureSampleComponent.h
UCLASS(BlueprintType)
class UNglRWTextureRenderTarget2D : public UTextureRenderTarget2D
{
	GENERATED_UCLASS_BODY()
public:
virtual ~UNglRWTextureRenderTarget2D();
FUnorderedAccessViewRHIRef uav_;

};

// UavTextureSampleComponent.cpp
UNglRWTextureRenderTarget2D::UNglRWTextureRenderTarget2D(const FObjectInitializer& ObjectInitializer)
: Super(ObjectInitializer)
{
bNeedsTwoCopies = false;
// リソース生成時にUAV利用可能な設定で作成することを指示
bCanCreateUAV = true;
}
UNglRWTextureRenderTarget2D::~UNglRWTextureRenderTarget2D()
{
if (uav_.IsValid())
{
// UAVの破棄
// 破棄は描画スレッドで実行する必要があるのでコマンドをキューに積む.
auto rhi_resource = uav_;
ENQUEUE_RENDER_COMMAND(UpdateResourceImmediate)(
[rhi_resource](FRHICommandListImmediate& RHICmdList)
{
rhi_resource->Release();
}
);
}
}

RWテクスチャのUAV生成

本来ならUTextureRenderTarget2Dの初期化フローの中で生成するのが理想だが、今回はUAV利用する側が生成することにした。

// UavTextureSampleComponent.cpp 252行目
if (!rw_tex->uav_.IsValid())
{
	rw_tex->uav_ = RHICreateUnorderedAccessView(rw_tex->Resource->TextureRHI);
}

ComputeShaderによるRWテクスチャへの書き込み

生成したUAVはComputeShaderパラメータに設定することで利用可能。

// UavTextureSampleComponent.cpp 271行目
SetUAVParameter(RHICmdList, rhi_cs, cs->rw_tex, rw_tex->uav_);

RWテクスチャのマテリアルでの利用

UNglRWTextureRenderTarget2Dは通常のUTextureオブジェクトと同様にマテリアルパラメータに設定可能。これでComputeShaderで書き込みをしたRWテクスチャをそのままマテリアルで利用できる。

UE4 ComputeShaderでMeshの頂点バッファをリアルタイム書き換えする (GPGPU)

Sun, 22 Sep 2019 22:26:04 +0900

エンジンバージョン:4.22, 4.23

諸事情によりサンプルプロジェクト無し

UE4のProceduralMeshのようなことをComputeShaderでできたら、大量の頂点をリアルタイムに操作できて面白いのではないかという思い付き。
今回はたくさんの草をリアルタイムに生成する目的で実装してある程度うまくいったのでメモ。
この方法を応用すれば頂点カラーとかにInstanceID的なものやそのほか特殊な情報を埋め込んでおいてマテリアルBPで利用するといったこともできる。

この記事はC++とGlobalShaderを利用したもので、且つエンジン改造はしない。
また、自前で用意した頂点バッファをComputeShaderで書き換えてUE4のメッシュ描画に流す方法がメインであるため、実装したComputeShader自体については深く説明しない。

www.youtube.com
↑プレイヤーからの影響を草一本一本が受ける例。
草の位置や基準方向などを構造化バッファで保持しているのでそれらをComputeShaderで更新すればこのようなことも可能。
www.youtube.com
↑さらにマテリアルBP側で頂点オフセットによる風揺れをつけた例。
描画自体はUE4のメッシュ描画に乗っかっているのでStaticMesh等と同じようにマテリアルが使えるのが強みの一つ。

基本の考え

自分で作成した頂点バッファやインデックスバッファをUE4のメッシュ描画に流し込む方法は意外と簡単で、FPrimitiveSceneProxy派生クラスでGetDynamicMeshElements()関数をoverrideして適切にバッファ情報を渡せば可能になる。
そこでこれらのバッファをUnorderedAccess可能な設定で作成しておき、毎フレームComputeShaderで書き換えるようにすることで、形状をリアルタイムに変更しつつマテリアル等を含めた描画部分はUE4の仕組みをそのまま利用できると考えた。

フローのイメージ

必要な要素の概要

自作ComputeShader用GlobalShader
- 自作MeshProxyが生成した頂点バッファUAVやインデックスバッファUAVへ読み書きして草メッシュを作る
- 草メッシュの位置や向きは別途StructuredBufferで与える
自作MeshComponentクラス
- 対になる自作MeshProxyを生成してシステムに登録し、ゲーム側からの情報を通知する役割
自作MeshProxyクラス
- 自作MeshComponentの描画スレッド側における分身のような存在
- UnorderedAccess可能な各種頂点バッファとインデックスバッファおよびそれらのUAVを作成する
- UE4メッシュ描画システムのメッシュ情報収集に適切に頂点バッファなどを設定する
- ComputeShaderのDispatchコマンド発行もする

自作ComputeShader用GlobalShader

自作MeshProxyの各バッファのUAVを設定して書き換えるComputeShaderのGlobalShader。
GlobalShader自体については公式のドキュメントを参考。
https://docs.unrealengine.com/ja/Programming/Rendering/ShaderInPlugin/QuickStart/index.html
ComputeShaderをGlobalShaderとして作成してUAV他パラメータを設定する流れについては以下のブログが参考になる。
[UE4][ComputeShader][HLSL][C++]Unreal Engine 4で(RW)StructuredBufferを用いたComputeShaderを利用する（その２：C++側シェーダクラス） – サイアメント技術メモ

今回はComputeShaderのスレッド一つが草一本を担当することとし、スレッドIDと草一つに割り当てられた頂点数からスレッドが書き込む頂点バッファ内の位置を決めている。あまり特殊なことはしていないが、接線法線頂点バッファ等がPackedフォーマットになっている場合はUAVから読み取った値をUnpackしたり書き戻す際に再度Packしたりといった処理が必要な点に注意。

ComputeShaderの処理イメージ

自作MeshComponentクラス

UPrimitiveComponentを継承
コンポーネントとしてゲームスレッド側の情報を管理する。UProceduralMeshComponentを参考にした。
コンポーネントの描画スレッド側の情報を管理するカスタムMeshProxyクラスを生成して保持し、適切に情報を渡したりするのが主な役目。
適切なタイミングで自作MeshProxyへComputeShaderのDispatchコマンド生成をリクエストをする。

virtual void UComputeMeshComponent::TickComponent(float DeltaTime, enum ELevelTick TickType, FActorComponentTickFunction *ThisTickFunction) override
{
 // SendRenderDynamicData_Concurrent の呼び出しをリクエスト
 MarkRenderDynamicDataDirty();
}
virtual void UComputeMeshComponent::SendRenderDynamicData_Concurrent() override
{
 // カスタムMeshProxyにComputeShaderのDispatchコマンド生成を要求
 カスタムMeshProxy->EnqueueDispatchComputeShader();
}