Graphics on ながむしメモ

Unreal Engine Meetup Connect - Vol.4 - TA編資料

Mon, 14 Apr 2025 21:01:46 +0900

昨年10月のUEイベント登壇資料です.

TA編に紛れ込んだ土偶のSceneViewExtensionやRenderGraphの妙な資料です.

www.docswell.com

イベント自体やほかの登壇者のみなさんの資料はこちら.

leon-gameworks.connpass.com

元のはてなブログ記事

【UE5】Niagara SimulationStageでNormalMapからHeightMapを復元する(Poisson方程式)

Sat, 16 Dec 2023 16:11:44 +0900

Unreal Engine Advent Calendar 2023 の16日の記事です. Unreal Engine (UE)のカレンダー | Advent Calendar 2023 - Qiita

最近HoudiniでNormalMapからHeightMapを復元するというものを見かけ,
Poisson方程式を解くのであればSimulationStageで実装することができるのではと考えました.

というわけで、@TearsOfJake さんのアドバイスを元に、ポアソン方程式を用いたノーマルマップからハイトマップの復元。昨日の勾配のみの復元に比べて圧倒的に安定している。
左：入力メッシュ
中：入力メッシュから求めたノーマルマップ
右：ノーマルマップから復元した高さ情報 pic.twitter.com/NiNyVvvrbS
— Akira Saito (@a_saito) 2023年11月5日

この記事では「NormalMapからHeightMapを復元する」という問題をSimulationStageで実装する方法を紹介します.
サンプルプロジェクトは以下のGoogleDriveになります (動作確認バージョン UE5.3).
ReconstructHeightMapFromNormal.zip - Google ドライブ

Niagara SimulationStage

Niagara SimulationStage はComputeShader的なGPGPU処理をNiagaraモジュールとして作成できる仕組みです.
Epic Games公式のNiagara Fluids等でも多用されています(本当にSimulationStageでほとんどの処理が作られていますまじかよ).

SimulationStage は2D/3Dのグリッド構造に対するGPGPU処理を比較的簡単に作ることができるように設計されています.
これには数値シミュレーションで必要とされる反復実行なども含まれています.
目的のタスクを適切な形に変形してSimulationStageで実装することで, GPUによる高速な実行が可能になります.

NormalMapからHeightMapを復元する問題

Poisson方程式

ある関数の二階の空間微分と別の関数との関係式をPoisson方程式といいます.
Poisson方程式は離散化によって連立一次方程式へ変形することができ, 連立一次方程式を解く方法は様々に研究されています.
対象の問題をPoisson方程式, ひいては連立一次方程式の形にすることができれば, Solverや解法を利用して解くことができます.

$\Delta \phi =-\dfrac{\rho}{\epsilon_0}$

Poisson方程式への変形

今回は NormalMapとHeightMapの関係をPoisson方程式で表現して離散化, 連立一次方程式として解くことにします.

NormalMapのxy成分はHeightMapの空間微分(勾配)から求められます.
$N_x(x,y)= -\dfrac { \partial H(x,y)}{\partial x}$
$N_y(x,y)= -\dfrac { \partial H(x,y)}{\partial y}$
さらにそれぞれ x, y で偏微分します.

$\dfrac {\partial N_x(x,y)}{\partial x}= -\dfrac { \partial^2 H(x,y)}{\partial x^2}$

$\dfrac {\partial N_y(x,y)}{\partial y}= -\dfrac { \partial^2 H(x,y)}{\partial y^2}$
ここで上の式はPoisson方程式の形になっています.

差分方程式

このPoisson方程式を離散化すると以下のようになります.
(東海大学理学部遠藤研究室さんのページ等がわかりやすいです. -> 電磁場(SP) )

$\frac {N_x(x+h,y) - N_x(x-h,y)}{2h}= -\frac {H(x+h,y)+H(x-h,y) - 2H(x,y)}{h^2}$
$\frac {N_x(x,y+h) - N_x(x,y-h)}{2h}= -\frac {H(x,y+h)+H(x,y-h) - 2H(x,y)}{h^2}$
(左辺は中心差分)

2つの式を足して左辺のNormalMap, 右辺にHeightMapに関わる項をまとめて整理します.
またテクセルでの微分(差分)のため $$h = 1$$ とします.
$- \frac {N_x(x+1,y) - N_x(x-1,y) + N_x(x,y+1) - N_x(x,y-1)}{2} \\= H(x+1,y)+H(x-1,y) + H(x,y+1)+H(x,y-1) - 4H(x,y)$

上の式の左辺は入力NormalMapとして与えられる既知の値, 右辺は求めたいHeightMapのいくつかの地点の値に係数をかけたものの和です.
よってこれは左辺を定数 $$b$$ , 未知のHeightMapを $$x$$ , 近傍HeightMap値への係数を行列 $$A$$ とした連立一次方程式ということになります.
$$b = Ax$$

連立一次方程式を解くために更に変形していきます.

Jacobi法

見通しをよくするために左辺は記号で置き換えておきます.
$-N_{d} = H(x+1,y)+H(x-1,y) + H(x,y+1)+H(x,y-1) - 4H(x,y)$
(ここで $N_{d} =\frac {N_x(x+1,y) - N_x(x-1,y) + N_x(x,y+1) - N_x(x,y-1)}{2}$ )

$$H(x,y)$$ に関する形に変形します.

$H(x,y) = \frac{(H(x+1,y)+H(x-1,y)+H(x,y+1)+H(x,y-1)) + N_{d} }{4}$

この式を反復的に計算することで $$H(x,y)$$ を解に近づけていく方法をJacobi法といいます.
プログラム的に考えるとHeightMapの各テクセルについて上下左右の近傍値とNormalMapの値を使って更新しているといえます.
現在のHeightMapから次のHeightMapの各テクセルを並列に計算できるためGPGPUとも相性が良いです.
次はJacobi法によるHeightMapの計算をNiagara SimulationStageで実装します.

Simplex頂点に任意の乱数を利用できるSimplex Noise Custom Node[UE][UE5]

Wed, 26 Jul 2023 13:52:33 +0900

題名の通りです.

個人的な興味により Simplex Noiseの頂点毎の乱数計算を差し替えられるCustomNodeを作成したので公開.

Simplex Noise には以下のShadertoyを参考にしています. thanks!
https://www.shadertoy.com/view/XsX3zB
(XsX3zB)

前置き
コピペ用テキスト
おまけ
- マテリアルコピペ用

前置き

CustomNodeは3段階(コア部分は2段階)で,

前処理
- Simplexの頂点情報他を出力
乱数ノード
- (ここが任意に差し替え可)
後処理
- Simplex頂点の乱数からノイズ出力

という構成です.

使用例としては以下のようになります.

使用例

コピペ用テキスト

マテリアルエディタにうまくコピペできない等の問題がありましたらTwitter等でお知らせください.

前処理CustomNode

Begin Object Class=/Script/UnrealEd.MaterialGraphNode Name="MaterialGraphNode_109"
 Begin Object Class=/Script/Engine.MaterialExpressionCustom Name="MaterialExpressionCustom_0"
 End Object
 Begin Object Name="MaterialExpressionCustom_0"
 Code="\r\n/*\r\n 3D SimplexNoise の前段処理\r\n[Reference materials]\r\nhttps://www.shadertoy.com/view/XsX3zB\r\n\r\n\r\n input:\r\n // ノイズ計算座標.\r\n in_pos\r\n\r\n output:\r\n // Simplex(3DではTetrahedron)の頂点座標\r\n out_simplex_vtx_pos0\r\n out_simplex_vtx_pos1\r\n out_simplex_vtx_pos2\r\n out_simplex_vtx_pos3\r\n \r\n // Simplexの頂点へのベクトル. 後段でのGradientNoise計算用.\r\n out_simplex_d0\r\n out_simplex_d1\r\n out_simplex_d2\r\n out_simplex_d3\r\n\r\n*/\r\n\r\nconst float F3 = 0.33333;\r\nconst float G3 = 0.16667;\r\n// Skew\r\nfloat3 s = floor(in_pos + dot(in_pos, F3));\r\nfloat3 x = in_pos - s + dot(s, G3);\r\n//\r\nfloat3 e = step(0.0, x - x.yzx);\r\nfloat3 i1 = e * (1.0 - e.zxy);\r\nfloat3 i2 = 1.0 - e.zxy*(1.0-e);\r\n\r\n//\r\nfloat3 x1 = x - i1 + G3;\r\nfloat3 x2 = x - i2 + 2.0 * G3;\r\nfloat3 x3 = x - 1.0 + 3.0*G3;\r\n\r\nout_simplex_vtx_pos0 = s;\r\nout_simplex_vtx_pos1 = s + i1;\r\nout_simplex_vtx_pos2 = s + i2;\r\nout_simplex_vtx_pos3 = s + 1;\r\n\r\nout_simplex_d0 = x;\r\nout_simplex_d1 = x1;\r\nout_simplex_d2 = x2;\r\nout_simplex_d3 = x3;\r\n\r\nreturn 1;"
 Description="Custom_SimplexNoise3to1_Setup"
 Inputs(0)=(InputName="in_pos",Input=(Expression=/Script/Engine.MaterialExpressionAdd'"MaterialExpressionAdd_5"'))
 AdditionalOutputs(0)=(OutputName="out_simplex_vtx_pos0",OutputType=CMOT_Float3)
 AdditionalOutputs(1)=(OutputName="out_simplex_vtx_pos1",OutputType=CMOT_Float3)
 AdditionalOutputs(2)=(OutputName="out_simplex_vtx_pos2",OutputType=CMOT_Float3)
 AdditionalOutputs(3)=(OutputName="out_simplex_vtx_pos3",OutputType=CMOT_Float3)
 AdditionalOutputs(4)=(OutputName="out_simplex_d0",OutputType=CMOT_Float3)
 AdditionalOutputs(5)=(OutputName="out_simplex_d1",OutputType=CMOT_Float3)
 AdditionalOutputs(6)=(OutputName="out_simplex_d2",OutputType=CMOT_Float3)
 AdditionalOutputs(7)=(OutputName="out_simplex_d3",OutputType=CMOT_Float3)
 MaterialExpressionEditorX=-2048
 MaterialExpressionEditorY=2512
 MaterialExpressionGuid=4244B9A4494561E6D73F14B3D48C4E67
 Material=/Script/UnrealEd.PreviewMaterial'"/Engine/Transient.M_InnerLayerPm2"'
 bShowOutputNameOnPin=True
 bCollapsed=True
 Outputs(0)=(OutputName="return")
 Outputs(1)=(OutputName="out_simplex_vtx_pos0")
 Outputs(2)=(OutputName="out_simplex_vtx_pos1")
 Outputs(3)=(OutputName="out_simplex_vtx_pos2")
 Outputs(4)=(OutputName="out_simplex_vtx_pos3")
 Outputs(5)=(OutputName="out_simplex_d0")
 Outputs(6)=(OutputName="out_simplex_d1")
 Outputs(7)=(OutputName="out_simplex_d2")
 Outputs(8)=(OutputName="out_simplex_d3")
 End Object
 MaterialExpression=/Script/Engine.MaterialExpressionCustom'"MaterialExpressionCustom_0"'
 NodePosX=-2048
 NodePosY=2512
 NodeGuid=694DDEB64074FA334F4FD9A71A7FD483
 CustomProperties Pin (PinId=14B3EA4E44D4A873700D33A55F7AE5AD,PinName="in_pos",PinType.PinCategory="required",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_103 5246F4EE4F841D0B87A775BDC4A8D155,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=B819619E4D1A27419AB524893B6ECD84,PinName="return",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=9EE1744F4571B813B1BBDE890386E4B4,PinName="out_simplex_vtx_pos0",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_111 9D0A05744027353F9E7118A2194B1162,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=1E152C9B4E3FDD460C71EBBD7728B4F5,PinName="out_simplex_vtx_pos1",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_113 8126FF97480C0E2317A4F7A582DAD0A3,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=EDB6385B40CB4F839646B784E3E9D173,PinName="out_simplex_vtx_pos2",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_112 164ABAAD466D2377D81D0CA5A60C9B3C,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=72873D064EE5FD985F001AA3892D9F49,PinName="out_simplex_vtx_pos3",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_114 7D8DCA5C4A5DE0ACA7BD0C82724D301A,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=7746174D4FB60AF7C5C5F095B5CA2773,PinName="out_simplex_d0",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_110 DB76CCAB48E57973572CEC889D1AD7A3,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=00AD30144201B89E1E00758A88479315,PinName="out_simplex_d1",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_110 62FD7FB84275385A5AE2688318A0242F,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=A101A4114BE2E007A7A9DE8B88751614,PinName="out_simplex_d2",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_110 68133C4D4BE01D7D4C180184CC5A24C8,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=CF20B6B54351C38C12EB46B59994524D,PinName="out_simplex_d3",Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,PinType.bSerializeAsSinglePrecisionFloat=False,LinkedTo=(MaterialGraphNode_110 1419241C4116FF68392D659CFBE3035C,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
End Object

乱数CustomNode (3D座標から3D乱数出力ができるものに置き換え可能)

UE5.2でC++プロジェクトのビルド時間が増加した問題の対処 [UE][UE5.2]

Sat, 10 Jun 2023 22:17:12 +0900

UE5.1からUE5.2へアップデートしてから, C++プロジェクトのビルド時間が5倍以上に増えて困った.

ソースコードを色々書き換えて調べたところ,

GlobalShader派生クラスへのSRV, UAV設定関数をフラットに記述する数が大きく影響

というところまでわかったのでメモ.

私と同じ沼にハマったひとの役にたてば幸い.

具体的には以下のUtil関数が該当

RenderCore/Public/ShaderParameterUtils.h
SetSRVParameter()
SetUAVParameter()

これらを一つの関数内で直接大量に(フラットに)記述するとビルド時間が大きく増加する模様.
対策としては Shader単位等で関数化してそれを呼び出すような記述 とするとUE5.1以前と同じくらいのビルド時間だった.

// ビルド時間が増えるパターン 100個くらい並んでました.
void MainFunc()
{
 // 全てのShaderに対するSetSRV/SetUAVをフラットに記述.
 SetSRVParameter(ShaderA, SRV);
 SetSRVParameter(ShaderA, SRV);
 SetUAVParameter(ShaderA, UAV);
 SetUAVParameter(ShaderA, UAV);
 ...
 SetSRVParameter(ShaderZ, SRV);
 SetSRVParameter(ShaderZ, SRV);
 SetUAVParameter(ShaderZ, UAV);
 SetUAVParameter(ShaderZ, UAV);
}

エンジン側のソースコードを見るとシェーダ毎等で関数に分けていたため,
そのように書き直したところビルド時間が以前と同じくらいになった.

// ビルド時間が増えないパターン.
void SetParamShaderA()
{
 SetSRVParameter(ShaderA, SRV);
 SetSRVParameter(ShaderA, SRV);
 SetUAVParameter(ShaderA, UAV);
 SetUAVParameter(ShaderA, UAV);
 ...
}
...
void SetParamShaderZ()
{
 SetSRVParameter(ShaderZ, SRV);
 SetSRVParameter(ShaderZ, SRV);
 SetUAVParameter(ShaderZ, UAV);
 SetUAVParameter(ShaderZ, UAV);
 ...
}
void MainFunc()
{
 // Shader毎のSRV/UAV設定メソッドを記述.
 SetParamShaderA(...);
 ...
 SetParamShaderZ(...);
}

私のプロジェクトでは前者の場合 8分前後かかっていたものが, 後者に修正したところ 1分前後に短縮された.

TextureArrayに対して実行可能なDrawMaterialToRenderTargetプラグイン[UE][Plugin]

Mon, 16 Jan 2023 08:00:00 +0900

TextureRenderTarget2DArray のSlice(配列の要素)を指定して DrawMaterialToRenderTarget ができるUEプラグインの公開.

これは何
導入
- リポジトリの NglTextureRt2dArrayUtil をコピー
- プラグインが読み込まれているか確認
サンプル
最後

これは何

テクスチャ配列アセットの要素に対してマテリアル描画を実行できるプラグイン.
UE標準のDrawMaterialToRenderTargetノードとほぼ同じで, TextureRenderTarget2DArrayとその何番目にDrawするかを指定できる.

NglDrawMaterialToRenderTargetArraySliceノード

内部で一時テクスチャの生成やコピーをする必要があったため, ゲーム中にリアルタイム利用するような用途向きではない点に注意.

エンジン改造無しで実装するためにこうなったが今後修正できるかもしれない(未定),

動作確認 UE5.1 Win64

導入

リポジトリの NglTextureRt2dArrayUtil をコピー

ue_plugin/distribution/NglTextureRt2dArrayUtil at main · nagakagachi/ue_plugin · GitHub

自身のプロジェクトに Plugins ディレクトリを作成し, その中に上記Githubの NglTextureRt2dArrayUtil ディレクトリをコピーペーストする.

プラグインが読み込まれているか確認

プロジェクトを開いて編集/プラグインのウィンドウを開き, NglTextureRt2dArrayUtilプラグインが有効になっていればOK.

サンプル

プラグインコンテンツのEditorUtilityWidget EUW_DrawToRenderTargetArraySample を右クリック->エディターユーティリティウィジットを実行で簡易サンプルが起動する

ウィンドウ左側にマテリアルと描画先Array要素番号(Slice Index)を指定.
ウィンドウ右側に書き込み先のTextureRTArrayアセットを指定。
Runボタンを押すとArray指定要素にマテリアル描画が実行される.

下図はWidgetでSlice 0番に対して実行して, エディタでTextureRTArrayの Slice 0 を表示して結果を確認している様子.

出来上がったTextureRtArrayをテクスチャ配列アセットに変換するなどご自由に.

最後

役にたった場合はGithubのStarや使ったよというメッセージを貰えると嬉しいです!

そもそも作った理由はエディタでマテリアルを使って自由に色々なテクスチャ配列を作りたかったため.

面白い使い方やもっと良い機能案があればご連絡ください.

以上…

DepthPrepass有効時のCoplanar PolygonによるGPU負荷増大 [UE][Rendering]

Sat, 31 Dec 2022 08:00:00 +0900

DepthPrepassレンダリングに関連して,
モデルやレベルの作りによってGPU負荷が増大してしまう特殊な状況について説明します.

問題

同一平面で重なり合うポリゴン(Coplanar Polygon)は, 重なりの数だけBasePass PixelShaderが実行される可能性があります.
これにより本来DepthPrepass環境で除去される不要なBasePass負荷が追加で発生します.

同一平面で重なり合うポリゴンを Coplanar Polygon と呼んでいます.
Lamina Faces や Z-Fighting状態のポリゴンというような表現もあると思います.
もっと良い呼び名があれば教えてください!

以下のサンプルシーンはOpaqueで適当ワールドノイズマテリアルのCubeをいくつか配置した状態です.
よくOverDraw負荷が問題となる半透明が無いシーンなので安心と思いきや, 表示モードを「シェーダ複雑度」へ切り替えてみると.

サンプルシーン

何故か高負荷を示す真っ白な部分があります.

RenderDocでキャプチャして「Quad Over Draw (Pass)」でOverDrawを確認します.

RenderDoc Quad Over Draw (Pass)

RenderDoc上でも確かに右側の配置でBasePassのOverDrawが発生しているようです.

BasePassではDeferredの場合はGBuffer書き込み, Forwardであれば複雑なLighting計算が実行されるため,本来実行されないはずのOpaqueでのBasePass OverDrawはGPU負荷に大きな影響を与えます.

原因

この問題の原因は深度が完全に一致するポリゴンが複数重なっている点と, DepthPrepass有りBasePassの仕組みの関係によるものです.

まずシーンの配置ですが, 左側の配置と同じ3つのCubeをポリゴンが重なるように配置しています *1.

このような状況では, DepthPrepass有効時のBasePassは重なり合ったポリゴンそれぞれについて全て実行されてしまい, 高負荷なBasePassが何度も実行されることによりGPU負荷を増大させます.

BasePassが複数回実行される理由

本来のDepthPrepass手法は, DepthPreapssで先に生成したDepthBufferを頼りに, 各Meshの可視ピクセルのマテリアルBasePass PixelShaderだけを最小限実行することで高速化するためのものです.
例として背景, 円柱, 板で構成されたシーンのDepthPrepass有りBasePassの挙動を以下に示します.
右側図の緑色部分がDepthTestを通過してBasePassのPixelShaderが実行されたピクセルになります.

DepthPrepassでDepthBufferが完成
円柱モデルBasePass描画
背景モデルBasePass描画
板モデルBasePass描画

各モデルのBasePassが, 最終的に画面に見えている部分でだけ働いているのがわかると思います.
このようにBasePassが無駄に実行されないようにして高速化するというのがDepthPrepassの目的となります.

これを実現するためにBasePassは

DepthWrite=OFF 且つ DepthTest=GreaterEqual

という設定をされます *2.

指摘がありましたので追記-> Maskedを含めたマテリアルをDepthPrePassを利用してEarlyZ有効で効率的に描画するために Equal なDepthTestで描画する場合があります. 本件のシーンではOpaqueを対象とし且つRenderDocキャプチャ等も確認したところGreaterEqualであったためこのように記述しています(UE5.3).

この設定によって, 各モデルのBasePass描画では

DepthPrepassで確定した深度値に対して
同じかそれより近い場合にのみ描画する

という挙動をすることになります.

この 同じかそれより近い という点と, 深度が完全に一致してしまう Coplanar Polygon の関係によって今回のような問題が起きています.

UE5 Geometry Script を利用した頂点単位リアルタイムアニメーション

Sun, 02 Oct 2022 19:41:37 +0900

Geometry Scriptの利用の一環で

入力メッシュの頂点インデックスをUV1に埋め込み、外部テクスチャに頂点座標をベイク
上記で生成したメッシュとテクスチャを利用してマテリアルで頂点単位バネアニメーション

というものを試してみました

realtime fake secondary motion (WIP.
position, rotation, and scale operations in editor mode.

Editorモードでの位置とスケールの操作プレビュー対応まで.

あとプルプルしすぎていたので更に調整.#UE5 pic.twitter.com/xgzYPtIGpw
— なが (@nagakagachi) 2022年8月21日

サンプル

レベルに配置されている BP_ControllerInEditorTick を動かすとプルプルします.
Playを実行すると物理で動くモデルがプルプルします.
github.com

構成

BP_GenerateMeshForPerVertexAnim
- 入力StaticMeshアセットから以下のようなアセットを生成する
  - UV1に頂点インデックスを埋め込んだStaticMesh
  - 頂点インデックスに対応したテクセルにローカル頂点座標をベイクしたテクスチャ
BP_PerVertexAnimationTest
- 上記で生成したMeshとテクスチャを利用して頂点単位バネシミュレーションをマテリアル(GPU)で計算する
BP_ControllerInEditorTick
- Editorモードのマニピュレータ操作でバネシミュをプレビューするためのコントローラ

導入

プロジェクトで Geometry Script プラグインを有効化

編集/プラグインエディタから Geometry Script のチェックボックスをONにする
必要ならEditorの再起動をする

PerVtxAnimWithGeometryScriptを取り込み

Windowエクスプローラ上などからプロジェクトのContentフォルダにサンプルの
PerVtxAnimWithGeometryScriptフォルダ
をコピー

生成用サンプルアクターをレベルに配置

BP_GenerateMeshForPerVertexAnim をレベルに配置

生成用サンプルアクターにアセットを設定

BP_GenerateMeshForPerVertexAnimアクターに変換元Mesh, 出力先Mesh & RenderTargetを設定
Sm Src Mesh に変換元のStaticMeshを設定, 図は同梱しているウシモデル(Spot)を設定している様子
Tex Bake Position Target にベイク情報を出力するRenderTargetを設定
Sm Bake Target に変換結果のMeshを出力するStaticMeshを設定

アセット生成

Geometry Scritpが駆動して Sm Bake Target と Tex Bake Position Target のアセットに生成物が保存される
Geometry Scritpはアクターのパラメータ変更等で駆動するため, 位置の変更や Enable Regenerate Mesh のONOFF等でトリガーされる

Sm Bake Target にはUV1に頂点インデックスを埋め込んだStaticMeshが出力される
Tex Bake Position Target には頂点インデックスに対応するテクセルに頂点座標がベイクされたテクスチャが出力される
これらのアセットを利用してリアルタイムに頂点単位アニメーションを実現する

ランタイムサンプルアクターをレベルに配置

BP_PerVertexAnimationTest は上記アクターで生成されたメッシュとテクスチャを利用するサンプル

ランタイムサンプルアクターにアセットを設定

BP_PerVertexAnimationTest で生成されたメッシュとテクスチャをそれぞれ
Mesh Vtx Attr Baked と Tex Vtx Attr 0 に設定

InstantNeRFで任意画像から3D再構成をするまでの流れメモ

Sat, 06 Aug 2022 18:43:49 +0900

NVIDIA InstantNeRF (InstantNGP) の環境セットアップと,
自身で用意した画像群を使った3D再構成をするフローのメモ.

基本的に公式リポジトリのセットアップ手順そのまま.
github.com

セットアップ
3D再構成の準備
- COLMAP
  - ダウンロード
  - 環境変数Pathへの追加
3D再構成

セットアップ

実行環境

WIndows10 64bit

RTX 3070

Requirementsのセットアップ

CUDA

"v10.2 or higher"
11.7 をインストール.
developer.nvidia.com

TextureSampleGradのCustomNode

Fri, 31 Dec 2021 19:30:43 +0900

UEのマテリアルでTextureからSampleGradでサンプリングするメモ.

これが2021年最後の記事. 良いお年を!

CustomNodeの内容
CustomNodeコピペ用
利用例
何に使うの

ノードとしてSampleGradが提供されていないようなので、CustomNodeでSampleGrad関数を直接呼ぶこととする.

(提供されているようならこの記事は見なかったことにしてください.)

CustomNodeの内容

TextureとUV, ddx, ddy を引数にとって内部で TextureSampleGrad関数を利用する.

/*
 Input
 InTexture ( and InTextureSampler)
 InUv
 InDdx
 InDdy
 
 Output
 float4
*/
float4 tex = Texture2DSampleGrad(InTexture, InTextureSampler, InUv, InDdx, InDdy);
return tex;

CustomNodeコピペ用

コピペで利用したい場合は以下のテキストをマテリアルエディタに貼り付ければCustomNodeが生成される.

Begin Object Class=/Script/UnrealEd.MaterialGraphNode Name="MaterialGraphNode_21"
 Begin Object Class=/Script/Engine.MaterialExpressionCustom Name="MaterialExpressionCustom_2"
 End Object
 Begin Object Name="MaterialExpressionCustom_2"
 Code="\r\n/*\r\n Input\r\n InTexture ( and InTextureSampler)\r\n InUv\r\n InDdx\r\n InDdy\r\n \r\n Output\r\n float4\r\n*/\r\n\r\nfloat4 tex = Texture2DSampleGrad(InTexture, InTextureSampler, InUv, InDdx, InDdy);\r\nreturn tex;\r\n\r\n"
 OutputType=CMOT_Float4
 Inputs(0)=(InputName="InTexture",Input=(Expression=MaterialExpressionTextureObjectParameter'"MaterialExpressionTextureObjectParameter_1"'))
 Inputs(1)=(InputName="InUv",Input=(Expression=MaterialExpressionReroute'"MaterialExpressionReroute_0"'))
 Inputs(2)=(InputName="InDdx",Input=(Expression=MaterialExpressionDDX'"MaterialExpressionDDX_0"'))
 Inputs(3)=(InputName="InDdy",Input=(Expression=MaterialExpressionDDY'"MaterialExpressionDDY_0"'))
 MaterialExpressionEditorX=-352
 MaterialExpressionEditorY=240
 MaterialExpressionGuid=A6C202464ABAD8F6E9734E9B54C6742D
 Material=PreviewMaterial'"/Engine/Transient.M_TexturePreview"'
 End Object
 MaterialExpression=MaterialExpressionCustom'"MaterialExpressionCustom_2"'
 NodePosX=-352
 NodePosY=240
 ErrorType=1
 ErrorMsg="Custom material Custom missing input 1 (InTexture)"
 NodeGuid=98660A2E479B2DED7843C29DD7E144AB
 CustomProperties Pin (PinId=3FB004F94791B89E090EB9B99B713C0F,PinName="InTexture",PinType.PinCategory="required",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,LinkedTo=(MaterialGraphNode_83 FF18694A45E6BEAA46EA3F8C083A2CBC,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=3E114E314D9BAB61118B329013A0C05A,PinName="InUv",PinType.PinCategory="required",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,LinkedTo=(MaterialGraphNode_Knot_7 18FE939F4A97C00C67CC16A085BED853,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=B5C056784D5BAD800E83398A08AD56B8,PinName="InDdx",PinType.PinCategory="required",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,LinkedTo=(MaterialGraphNode_85 80EC1CDF4B3A1C9667D72EB37399E8C0,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=905889CC49E11D9C88DB2792EF254574,PinName="InDdy",PinType.PinCategory="required",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,LinkedTo=(MaterialGraphNode_86 BBAD4B0443CF6057D92E17A5A0BB730A,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
 CustomProperties Pin (PinId=8EFEA7514110CC30D32E41B0B1689991,PinName="Output",PinFriendlyName=NSLOCTEXT("MaterialGraphNode", "Space", " "),Direction="EGPD_Output",PinType.PinCategory="",PinType.PinSubCategory="",PinType.PinSubCategoryObject=None,PinType.PinSubCategoryMemberReference=(),PinType.PinValueType=(),PinType.ContainerType=None,PinType.bIsReference=False,PinType.bIsConst=False,PinType.bIsWeakPointer=False,PinType.bIsUObjectWrapper=False,LinkedTo=(MaterialGraphNode_Root_0 1653EE4D4D08EED8A95A3CA74981CFA2,),PersistentGuid=00000000000000000000000000000000,bHidden=False,bNotConnectable=False,bDefaultValueIsReadOnly=False,bDefaultValueIsIgnored=False,bAdvancedView=False,bOrphanedPin=False,)
End Object

利用例

TextureObjectとUV, ddx, ddy をCustomNodeに入力する.

当記事のCustomNodeの利用例

RGB信号の輝度について

Tue, 14 Dec 2021 23:42:41 +0900

そういえばと思って調べたこと.

RGBの3次元ベクトルから輝度を計算するときに出てくるあの係数.

sRGB色空間の場合
$\(Luminance = dot( \begin{pmatrix} R_{sRGB}\\G_{sRGB}\\B_{sRGB}\\ \end{pmatrix} ,$

\begin{pmatrix} 0.2126\0.7152\0.0722\ \end{pmatrix} ))

$\begin{pmatrix} 0.2126\\0.7152\\0.0722\\ \end{pmatrix}$
↑これ

これはRGB値をその色空間(↑の場合はsRGB)からXYZ色空間へ変換する変換行列のY座標に関する成分.

XYZ色空間のYは輝度と定義されているため, XYZ色空間のY座標のみ計算しているということなんですね.

$\begin{align} \begin{pmatrix} X\\Y\\Z\\ \end{pmatrix} &= \begin{pmatrix} 0.4123908&0.35758434&0.18048079\\ 0.21263901&0.71516868&0.07219232\\ 0.01933082&0.11919478&0.95053215\\ \end{pmatrix} \begin{pmatrix} R_{sRGB}\\G_{sRGB}\\B_{sRGB}\\ \end{pmatrix} \\ &= \begin{pmatrix} 0.4123908R_{sRGB}+0.35758434G_{sRGB}+0.18048079B_{sRGB}\\ 0.21263901R_{sRGB}+0.71516868G_{sRGB}+0.07219232B_{sRGB}\\ 0.01933082R_{sRGB}+0.11919478G_{sRGB}+0.95053215B_{sRGB}\\ \end{pmatrix} \end{align}$

↑の式では四捨五入していないので最初の式と少し違うけれど、Yはそういうこと.

別の色空間のRGBなら別の係数になるのも当然. 注意重点.

色空間の変換行列がたくさん乗っているページ.
本当に正しい値かはチェックが必要だけれどとても参考になる.
Welcome to Bruce Lindbloom's Web Site

http://www.brucelindbloom.com/index.html?Eqn_RGB_XYZ_Matrix.html

元のはてなブログ記事

縮小バッファによる半透明パーティクル描画についてのメモ

Sun, 12 Dec 2021 19:31:38 +0900

縮小バッファに描いたものを合成するというフローについて.

別バッファ半透明描画と直接描画の結果一致の確認
Lost Planet
METAL GEAR SOLID 4
Tales of ARISE

別バッファ半透明描画と直接描画の結果一致の確認

METAL GEAR SOLID 4の記事などで紹介されている方法の確認をあらためて

半透明用バッファを(0,0,0,1)でクリア
半透明描画
- アルファブレンドの場合
  - RGB : Dst*(1-SrcAlpha) + Src*SrcAlpha
  - Alpha: DstAlpha * (1 - SrcAlpha)
- 加算ブレンドの場合
  - RGB : Dst + Src*SrcAlpha
  - Alpha: DstAlpha
半透明バッファを最終合成
- RGB : Dst * SrcAlpha + Src

3回の半透明描画の例で計算確認

c[i]はアルファ乗算済みRGB

a[i]は対応する出力アルファ値{ 半透明アルファ値 : アルファブレンド, 0.0 : 加算合成 }

としてアルファブレンドと加算合成が任意に混在するものとする

// c0に直接3回の合成(c1, c2, c3 の順)
cd=c3+(c2+(c1+c0(1-a1))(1-a2))(1-a3)
ad=(1-a0)(1-a1)(1-a2)(1-a3)


// ---------------------------------------------

// cs_, as_へ3回の半透明を合成してから最後にc0と合成
// 疑似コードの通り初期値として c0=0, a0=1 とすると c1,c2,c3 の合成は
c_temp=c3+(c2+c1(1-a2))(1-a3)
a_temp=(1-a1)(1-a2)(1-a3)

// c_tempをc0へ合成
cd=c0*a_temp+c_temp
=c0(1-a1)(1-a2)(1-a3)+( c3+(c2+c1(1-a2))(1-a3) )
=c3+(c2+(c1+c0(1-a1))(1-a2))(1-a3)

c0直接合成とc_tmpを介した合成で式が一致した

アルファブレンドと加算合成が任意の数と順序で混在していても, 別バッファ半透明の結果は直接描画半透明と一致する(ﾟ∀ﾟ)

(だいぶ前の記事を整理)

cs=c3+(c2+(c1+c0(1-a1))(1-a2))(1-a3)
as=(1-a0)(1-a1)(1-a2)(1-a3)

c0=0, a0=1とすると
cs_=c3+(c2+c1(1-a2))(1-a3)
as_=(1-a1)(1-a2)(1-a3)

cdへの合成
c=cd*as_+cs_
=cd(1-a1)(1-a2)(1-a3)+( c3+(c2+c1(1-a2))(1-a3) )
=c3+(c2+(c1+cd(1-a1))(1-a2))(1-a3)

で最初の式でc0=cdとした場合と一致
— なが (@nagakagachi) 2021年12月9日

UE4マテリアルによるDistanceField生成(Jump Floodingアルゴリズム)

Sun, 07 Nov 2021 23:19:35 +0900

2023/12/16更新
SDF生成ツールをUE5向けに公開しました.
SDFテクスチャをテクスチャ2Dから生成するUE5上のツール.
別の作業のために生えてきた. Jump FloodingをGPU(マテリアル)で実行.

入力テクスチャは黒かそうでないかで外部/内部扱いしたSDF計算. 出力は RチャンネルにUV距離, Gチャンネルに内部フラグ. MIT License #UE5 https://t.co/6GdbEja9o3 pic.twitter.com/ogWdxzP5Xm
— なが (@nagakagachi) 2023年12月2日

サンプルプロジェクト有 (UE4.27).

Jump Flooding アルゴリズムによるDistanceField生成をUEマテリアルで実装したメモ.
ついでに Editor Utility Widget でSeedテクスチャの生成とDistanceFieldの生成をトリガーするテスト.

Jump Flooding Algorithm (JFA)の詳細については各種資料参照.
https://www.comp.nus.edu.sg/~tants/jfa/i3d06.pdf
Jump flooding algorithm - Wikipedia
GPU Voronoi Diagrams using the Jump Flooding Algorithm / Ricky Reusser | Observable

サンプルプロジェクト
- DistanceFieldテクスチャ生成手順
- アセット説明
Jump Flooding ステップ
その他

サンプルプロジェクト

DistanceFIeldByJFA00.zip - Google ドライブ

プロジェクトの[ThirdPersonBP/DF]に関連BPやマテリアル等がある.

DistanceFieldテクスチャ生成手順

EUW_JfaTestアセット を右クリック->Run Editor Utility Widget でWidgetを表示する.
Generate Seed Texture ボタン を押すとマテリアルによってSeedテクスチャが更新される.

Generate SeedTexture

Run JFA ボタン を押すとSeedテクスチャを元にDistanceFieldテクスチャが生成される.

Generate DistanceField

アセット説明

RT_Seed
- DistanceFieldの元になるSeedテクスチャ. 黒テクセルは無効で, それ以外の色のテクセルがSeedとして評価される.
- どんなテクスチャでもよいが,今回はマテリアルM_DistanceSeedでその場で生成している.
- サイズはデフォルト512x512だが変更可能. ただし動作確認しているのは2の冪のみ.
RT_Jfa0
- DistanceFieldの出力先テクスチャ.
M_DistanceSeed
- Seedテクスチャの生成用マテリアル. 適当な計算で適当な位置に黒(0,0,0)ではないSeedを書き込む.
MF_JumpFlood
- JFAのメイン処理をCustomNodeで記述したMaterialFunction. M_JumpFlood_SetupとM_JumpFlood_Itrはこれを呼び出す.
M_JumpFlood_Setup
- JFAの初回パス用マテリアル. Seedテクスチャを元に黒(0,0,0)ではないテクセルをSeedとしてJFAの初回パスを実行する.
M_JumpFlood_Itr
- JFAの反復パス用マテリアル. 基本的には初回パスと同じだが,JFA入力が前回のJFAパスの結果テクスチャになる.
M_JumpFlood_Copy
- JFA結果テクスチャを元に出力先テクスチャRT_Jfa0 へ出力するマテリアル.
EUW_JfaTest
- JFA処理のMaterialDrawなどをするWidget. 今回のJFA関連の処理はほぼここに書いてある.
- JFAのワークテクスチャ(PingPong用に2枚)を内部で生成して利用する.
- JFA自体はテクスチャサイズXに対して (log2(X)-1)回のマテリアルDrawで完了する.

InstancedStaticMeshとCustomDataとTextureで大量オブジェクト (UE4 Advent Calendar 2020)

Tue, 15 Dec 2020 00:05:00 +0900

UE4 AdventCalendar2020 15日目の記事となります
Unreal Engine 4 (UE4) Advent Calendar 2020 - Qiita

サンプルプロジェクトは以下(UE4.26)
github.com

やりたいこと
仕組みの概要
事前情報
- CustomData
- CanvasObject
TextureRenderTarget2Dの準備
InstancedStaticMeshComponentの設定
Instance番号をCustomDataに設定
Instanceの基準位置をテクスチャに書き込み
変位テクスチャによってメッシュを動かすマテリアル
変位テクスチャ更新マテリアル
速度テクスチャ更新マテリアル
まとめ

やりたいこと

大量のインスタンスメッシュについて個別のパラメータをBPからマテリアルへ渡す
大量のインスタンスメッシュのパラメータ更新をGPGPU(マテリアル)で高速に実行する
BPのみでつくる (C++つかわない)

このような要素を含んだデモとして以下のようなサンプルを作成しました。

基準位置とバネで接続された物体のシミュレーション
- バネによる速度の変化
- 速度による位置の変化
- プレイヤーとのインタラクション

youtu.be
youtu.be
以降の説明は基本的にこのデモをベースにしていきます。

仕組みの概要

今回紹介する方法は大まかに以下のような流れになります。

InstancedStaticMeshのCustomDataにInstance番号を設定する
テクスチャを配列データに見立ててInstanceパラメータを格納する
Instanceパラメータテクスチャをマテリアルで更新する
マテリアルでInstance番号に対応したパラメータをテクスチャから取得して使う

Voxel Mesh化手法についてメモ( Voxel Meshing )

Sat, 22 Aug 2020 18:05:15 +0900

SDFなどのVoxelからMeshを生成する手法のメモ。

もとのSDFのセルと、Mesh化で管理されるVoxelは一致しないので注意。

もとのSDFのセル中心を頂点とするようなVoxel上でMesh化が実行される。

Marching Cubes

Polygonising a scalar field (Marching Cubes)

Voxelの頂点のパターンからそのVoxelのポリゴンパターンをLookupしてMesh化する。

シャープな形状が作りにくいらしい。

Dual Contour

https://people.eecs.berkeley.edu/~jrs/meshpapers/SchaeferWarren2.pdf

あるVoxelを構成する辺について、SDFをの符号が異なる両端を持つ辺に注目し、辺を横切るような等値面の交差位置と法線をSDFの勾配等から計算する。

一つのVoxelについて境界面は複数存在する可能性があり、すべての境界面からの距離の自乗和が最小になるような一点をそのVoxel内の頂点として最小二乗法で推定する。

すべてのVoxelについて上記の点を計算し、隣接Cellで点同士をつなげてMeshを構成する。

シャープな形状を作ることができるらしい。

Voxel毎に最小二乗法を解く必要があるためコストが高い可能性。

また自己交差メッシュができてしまう可能性もある。

SurfaceNets

https://www.merl.com/publications/docs/TR99-24.pdf
Smooth Voxel Mapping: a Technical Deep Dive on Real-time Surface Nets and Texturing | by DreamCat Games | Aug, 2020 | Medium
NaiveSurfaceNets/NaiveSurfaceNets.cs at master · TomaszFoster/NaiveSurfaceNets · GitHub

Meshを構成するVoxel内の頂点を推定することはDual Contourと同様だが、複数ある辺と等値面の交差位置を平均した地点を頂点位置とするところが異なる。

元のはてなブログ記事

UE5の発表についてのメモ

Thu, 14 May 2020 12:00:00 +0900

~~In-house Engineでこれと戦わなきゃいけないってマジ？~~

PlayStation5 上で動作している Unreal Engine 5 のデモが発表されたので、この時点で感じたことなど覚えておくためにメモ。

目玉は動的GIシステムLumenと微細ジオメトリのレンダリングを実現するNanite。
www.unrealengine.com

Lumen (動的GI)
Nanite (仮想化マイクロポリゴンジオメトリ)
Niagara
流体シミュレーション
Chaos
アニメーションシステム
感想

Lumen (動的GI)

動的なGlobal IlluminationシステムでDiffuse及びSpecular間接光をレンダリングする。
動的なライトは最近のGIだと半分当然のようなところがあるが、動的なジオメトリはどこまでサポートされるのか気になる。
レイトレハードウェアは使ってないらしいのでCompute Shaderによるものか、EnlightenのようにCPU側で非同期計算する方式なのか。

LumenによるGI有効

GI無し

Nanite (仮想化マイクロポリゴンジオメトリ)

Texture-StreamingのようにジオメトリをStreamingし、ピクセルレベルのジオメトリ描画を可能にする。
デモでは10億Triを超えるソースジオメトリを、Naniteが適切にコントロールして2000万Triのジオメトリを描画しているらしい。

もはやノイズにしか見えないトライアングル群

DCCツールでの特別な作業は不要で、ZBRushなどで作ったものをそのままインポート可能。
いままでNormalMapで表現していたディティールをジオメトリによって直接表現する。
LoDもNaniteがやってくれる。

Niagara

エフェクト以外にもコウモリや蟲の群れなどにもNiagaraを利用している。
パーティクル同士の通信や環境の知覚などもできるらしい。

流体シミュレーション

さらっと流されたけど流体シミュレーション。

Chaos

スカーフのClothシミュレーションや落石にはChaosを使用。

Graphics on ながむしメモ

Unreal Engine Meetup Connect - Vol.4 - TA編 資料

【UE5】Niagara SimulationStageでNormalMapからHeightMapを復元する(Poisson方程式)

Niagara SimulationStage

NormalMapからHeightMapを復元する問題

Poisson方程式

Poisson方程式への変形

差分方程式

Jacobi法

Simplex頂点に任意の乱数を利用できるSimplex Noise Custom Node[UE][UE5]

前置き

コピペ用テキスト

前処理CustomNode

乱数CustomNode (3D座標から3D乱数出力ができるものに置き換え可能)

UE5.2でC++プロジェクトのビルド時間が増加した問題の対処 [UE][UE5.2]

TextureArrayに対して実行可能なDrawMaterialToRenderTargetプラグイン[UE][Plugin]

これは何

導入

リポジトリの NglTextureRt2dArrayUtil をコピー

プラグインが読み込まれているか確認

サンプル

最後

DepthPrepass有効時のCoplanar PolygonによるGPU負荷増大 [UE][Rendering]

問題

原因

BasePassが複数回実行される理由

UE5 Geometry Script を利用した頂点単位リアルタイムアニメーション

サンプル

構成

導入

プロジェクトで Geometry Script プラグインを有効化

PerVtxAnimWithGeometryScriptを取り込み

生成用サンプルアクター をレベルに配置

生成用サンプルアクターにアセットを設定

アセット生成

ランタイムサンプルアクターをレベルに配置

ランタイムサンプルアクターにアセットを設定

InstantNeRFで任意画像から3D再構成をするまでの流れメモ

セットアップ

実行環境

Requirementsのセットアップ

CUDA

TextureSampleGradのCustomNode

CustomNodeの内容

CustomNodeコピペ用

利用例

RGB信号の輝度について

縮小バッファによる半透明パーティクル描画についてのメモ

別バッファ半透明描画と直接描画の結果一致の確認

UE4マテリアルによるDistanceField生成(Jump Floodingアルゴリズム)

サンプルプロジェクト

DistanceFieldテクスチャ生成手順

アセット説明

InstancedStaticMeshとCustomDataとTextureで大量オブジェクト (UE4 Advent Calendar 2020)

やりたいこと

仕組みの概要

Voxel Mesh化手法についてメモ( Voxel Meshing )

Marching Cubes

Dual Contour

SurfaceNets

UE5の発表についてのメモ

Lumen (動的GI)

Nanite (仮想化マイクロポリゴンジオメトリ)

Niagara

流体シミュレーション

Chaos

Unreal Engine Meetup Connect - Vol.4 - TA編資料

生成用サンプルアクターをレベルに配置