強化学習によるニューラルネットワークのトレーニング 質問する

私はフィードフォワード ニューラル ネットワークの基礎と、バックプロパゲーション アルゴリズムを使用してそれらをトレーニングする方法を知っていますが、強化学習を使用してオンラインで ANN をトレーニングするために使用できるアルゴリズムを探しています。

例えば、カートポールが上がるこの問題については、ANN で解決したいと考えています。その場合、振り子を制御するために何をすべきかはわかりません。理想的な位置にどれだけ近づいているかだけがわかります。ANN に報酬と罰に基づいて学習させる必要があります。したがって、教師あり学習は選択肢ではありません。

もう一つの状況は、ヘビゲームフィードバックは遅延され、報酬ではなく目標と反目標に限定されます。

最初の状況には、ヒルクライミングや遺伝的アルゴリズムなどのアルゴリズムが考えられますが、どちらも遅いのではないかと思います。2 番目のシナリオにも適用できるかもしれませんが、非常に遅く、オンライン学習には適していません。

私の質問は簡単です:強化学習を使用して人工ニューラル ネットワークをトレーニングするための簡単なアルゴリズムはありますか?私は主にリアルタイムの報酬状況に興味がありますが、目標ベースの状況向けのアルゴリズムが利用可能であれば、さらに良いでしょう。