強化学習の環境の構築

[yasuohayashibara]

以下で設計したシステムに関して，強化学習を行う環境を構築する．
#6 (comment)

[Yusuke-Yamasaki-555]

@aiba0921
閉リンクをIsaacLabで使うことができるかも。
https://docs.isaacsim.omniverse.nvidia.com/6.0.0/robot_setup_tutorials/rig_closed_loop_structures.html

isaaclabのコントローラ
https://isaac-sim.github.io/IsaacLab/main/source/api/lab/isaaclab.controllers.html

isaacsim, onshape importer
https://docs.omniverse.nvidia.com/extensions/latest/ext_onshape.html

[aiba0921]

.stlや.objからurdfを作成することができそう
https://github.com/Ninagawa123/URDF_kitchen/blob/beta2/README_JP.md

[aiba0921]

かなり簡易的なモデルですが閉リンクで破綻せずにデモ環境にスポーンさせることはできました

[aiba0921]

rllegorobot.20260209.webm

まだモータの仕様などは合わせられていませんが学習環境に実装することはできました。
報酬としては「支柱が何度以上倒れたら転倒とみなす」、「その場から動くとペナルティ（モータの設定があっていないので下手に動くと支柱から先が吹き飛ぶ）」という程度しかまだ設けられていません。

[aiba0921]

一度は下の動画の様にかろうじて回転するところまではいっていた。

rllegorobot2026224.mp4

ただ動画の際のモデルはサイズやモータの性能がかなり簡易的だったのでサイズとモータの性能を実際のロボットに合わせてみたところ学習が進んでも全く回転しなくなった。報酬の値では水平の支柱が全く水平を保てていないことが分かった。モータの性能が足りないのかと考えていたが、問題は重量配分が良くなかった。

[yasuohayashibara]

あと，細かなことかもしれませんが，メカニズムには平行リンクの部分があります．
回転軸と先端の歩行ユニットの間のリンクは，歩行ユニットの姿勢を保つために平行リンクになっています．
とりあえず歩行できるかどうかを検証してからで良いと思いますが，最終的には平行リンクにしたほうが良いと思います．