日本語タイトル#
ReLU を超えて：強化された深層 Q ネットワークのためのチェビシェフ - DQN
英文タイトル#
Beyond ReLU: Chebyshev-DQN for Enhanced Deep Q-Networks
日本語摘要#
深層 Q ネットワーク（DQN）の性能は、その基盤となる神経ネットワークが行動価値関数を正確に近似する能力に大きく依存しています。 標準的な関数近似器、例えば多層パーセプトロンは、多くの強化学習問題に固有の複雑な価値景観を効率的に表現するのが難しい場合があります。本論文では、DQN フレームワークにチェビシェフ多項式基底を統合した新しいアーキテクチャであるチェビシェフ - DQN（Ch-DQN）を紹介します。 チェビシェフ多項式の強力な関数近似特性を活用することで、Ch-DQN はより効率的に学習し、より高い性能を達成できると仮定します。 我々は提案したモデルを CartPole-v1 ベンチマークで評価し、同等のパラメータ数を持つ標準 DQN と比較しました。 我々の結果は、適度な多項式次数（N=4）の Ch-DQN が顕著に優れた漸近性能を達成し、ベースラインを約 39% 上回ることを示しています。 しかし、多項式次数の選択が重要なハイパーパラメータであることもわかりました。高次数（N=8）は学習に悪影響を及ぼす可能性があります。この研究は、深層強化学習における直交多項式基底の使用の可能性を検証し、モデルの複雑性に関するトレードオフを強調しています。
英文摘要#
The performance of Deep Q-Networks (DQN) is critically dependent on the ability of its underlying neural network to accurately approximate the action-value function. Standard function approximators, such as multi-layer perceptrons, may struggle to efficiently represent the complex value landscapes inherent in many reinforcement learning problems. This paper introduces a novel architecture, the Chebyshev-DQN (Ch-DQN), which integrates a Chebyshev polynomial basis into the DQN framework to create a more effective feature representation. By leveraging the powerful function approximation properties of Chebyshev polynomials, we hypothesize that the Ch-DQN can learn more efficiently and achieve higher performance. We evaluate our proposed model on the CartPole-v1 benchmark and compare it against a standard DQN with a comparable number of parameters. Our results demonstrate that the Ch-DQN with a moderate polynomial degree (N=4) achieves significantly better asymptotic performance, outperforming the baseline by approximately 39%. However, we also find that the choice of polynomial degree is a critical hyperparameter, as a high degree (N=8) can be detrimental to learning. This work validates the potential of using orthogonal polynomial bases in deep reinforcement learning while also highlighting the trade-offs involved in model complexity.
文章ページ#
ReLU を超えて：強化された深層 Q ネットワークのためのチェビシェフ - DQN
PDF 取得#
抖音でスキャンしてさらに素晴らしいコンテンツを確認