UE5 Geometry Script を利用した頂点単位リアルタイムアニメーション

Sun, 02 Oct 2022 19:41:37 +0900

Geometry Scriptの利用の一環で

入力メッシュの頂点インデックスをUV1に埋め込み、外部テクスチャに頂点座標をベイク
上記で生成したメッシュとテクスチャを利用してマテリアルで頂点単位バネアニメーション

というものを試してみました

realtime fake secondary motion (WIP.
position, rotation, and scale operations in editor mode.

Editorモードでの位置とスケールの操作プレビュー対応まで.

あとプルプルしすぎていたので更に調整.#UE5 pic.twitter.com/xgzYPtIGpw
— なが (@nagakagachi) 2022年8月21日

サンプル

レベルに配置されている BP_ControllerInEditorTick を動かすとプルプルします.
Playを実行すると物理で動くモデルがプルプルします.
github.com

構成

BP_GenerateMeshForPerVertexAnim
- 入力StaticMeshアセットから以下のようなアセットを生成する
  - UV1に頂点インデックスを埋め込んだStaticMesh
  - 頂点インデックスに対応したテクセルにローカル頂点座標をベイクしたテクスチャ
BP_PerVertexAnimationTest
- 上記で生成したMeshとテクスチャを利用して頂点単位バネシミュレーションをマテリアル(GPU)で計算する
BP_ControllerInEditorTick
- Editorモードのマニピュレータ操作でバネシミュをプレビューするためのコントローラ

導入

プロジェクトで Geometry Script プラグインを有効化

編集/プラグインエディタから Geometry Script のチェックボックスをONにする
必要ならEditorの再起動をする

PerVtxAnimWithGeometryScriptを取り込み

Windowエクスプローラ上などからプロジェクトのContentフォルダにサンプルの
PerVtxAnimWithGeometryScriptフォルダ
をコピー

生成用サンプルアクターをレベルに配置

BP_GenerateMeshForPerVertexAnim をレベルに配置

生成用サンプルアクターにアセットを設定

BP_GenerateMeshForPerVertexAnimアクターに変換元Mesh, 出力先Mesh & RenderTargetを設定
Sm Src Mesh に変換元のStaticMeshを設定, 図は同梱しているウシモデル(Spot)を設定している様子
Tex Bake Position Target にベイク情報を出力するRenderTargetを設定
Sm Bake Target に変換結果のMeshを出力するStaticMeshを設定

アセット生成

Geometry Scritpが駆動して Sm Bake Target と Tex Bake Position Target のアセットに生成物が保存される
Geometry Scritpはアクターのパラメータ変更等で駆動するため, 位置の変更や Enable Regenerate Mesh のONOFF等でトリガーされる

Sm Bake Target にはUV1に頂点インデックスを埋め込んだStaticMeshが出力される
Tex Bake Position Target には頂点インデックスに対応するテクセルに頂点座標がベイクされたテクスチャが出力される
これらのアセットを利用してリアルタイムに頂点単位アニメーションを実現する

ランタイムサンプルアクターをレベルに配置

BP_PerVertexAnimationTest は上記アクターで生成されたメッシュとテクスチャを利用するサンプル

ランタイムサンプルアクターにアセットを設定

BP_PerVertexAnimationTest で生成されたメッシュとテクスチャをそれぞれ
Mesh Vtx Attr Baked と Tex Vtx Attr 0 に設定

論文メモ[CARL: Controllable Agent with Reinforcement Learning for Quadruped Locomotion](SIGGRAPH2020)

Sat, 16 May 2020 19:35:06 +0900

www.youtube.com

Paper
Abstract
Introduction
Proposed Method
関連研究

Paper

inventec-ai-center.github.io

Abstract

本論文では物理ベース制御アニメーションで駆動するエージェントに対して、ユーザによる制御が可能且つダイナミックな環境に自然に反応する四足歩行エージェント「CARL」を提案する。本研究ではエージェントは段階的に学習する。まずアニメーションクリップを模倣して身体を制御するように学習する。次にユーザによる高度な制御に対して適切なアニメーションを対応させる行動分布を学習する。行動分布の獲得にはGenerative Adversarial Networksを用いる。さらに深層強化学習によるfine-tuningによって、外部からの摂動から回復しつつ滑らかな遷移を可能にする。本研究では、ユーザの制御に対する追従性能を計測し、生成された動作を視覚的に分析することでその有効性を評価する。

Introduction

(1)動的環境と物理的に相互作用する能力と，

(2)参照モーションクリップから学習した自然な動きを採用することで，データ駆動型の物理ベースの制御可能な四足歩行エージェントを提案する．

複数段階のプロセスからなり、はじめに模倣によってリファレンスモーションを学習、次に速度や向きなどの高度なユーザー制御をGenerative Adversarial Networksを用いたjoint-actionにマッピングすることを学習する。

本研究の貢献をまとめると次のようになる。

高次のユーザ制御と学習した自然な動きを効果的にマッピングするための GAN Supervision フレームワーク
DRLを用いて訓練された四足歩行エージェントのための物理ベースのコントローラで、アクションラベルを必要とせずに意味のある反応を生成しながら、様々な外部摂動に適応することが可能
高レベルのナビゲーションモジュールをエージェントに接続する方法

Proposed Method

本研究では、高度なユーザ制御に追従しながら、外部からの擾乱を受けて自然な動きや反応を生成する物理ベースのコントローラを設計することを目的とする。生成された動きは、リファレンスモーションの動きに似ていれば自然なものと評価する。そのために、コントローラを3段階に分けて学習させる。

第 1 段階では、リファレンスモーションクリップの自然な動きを模倣学習により物理ベースのコントローラに伝達することを目的としている。これは物理ベースのコントローラが従うべき行動分布を方策ネットワークで学習することで達成される。

この方策ネットワークはプリミティブネットワークと歩法ネットワークを含み、行動分布を低レベルプリミティブ分布に分解する。結果としてこの方策ネットワークは物理ベースのコントローラが自然な動きを作り出すことを可能にする行動分布を生成し、アニメーションと物理の橋渡しに成功した。

2つ目の学習段階ではGANコントローラーアダプタを採用し、高レベルの歩法ネットワークが先に学習した自然な行動分布を近似できるようにした。しかし、2つ目の訓練段階では外部摂動がないため、外部からのノイズに対応できない。

そこで最後に GAN regularized DRL fine-tuning を追加し、コントローラがそのような外部摂動の影響から回復できるようにする。

Animation on ながむしメモ