日本語タイトル#
潜在 Kronecker ガウス過程に基づく学習曲線予測の連続分半法
英文タイトル#
Successive Halving with Learning Curve Prediction via Latent Kronecker Gaussian Processes
日本語摘要#
successive halving は、有望な候補者に指数関数的に多くのリソースを割り当てる人気のあるハイパーパラメータ最適化アルゴリズムです。しかし、このアルゴリズムは通常、中間性能値に依存してリソース割り当ての決定を行うため、最終的には最良の候補者となる可能性のある遅れたスタートのモデルを早期に剪定してしまうことがあります。私たちは、潜在 Kronecker ガウス過程に基づく学習曲線予測を用いて successive halving を導くことで、この制限を克服できるかどうかを調査しました。異なる神経ネットワークアーキテクチャとクリック予測データセットを含む大規模な実証研究において、私たちはこの予測アプローチを現在の性能値に基づく標準的なアプローチと比較しました。実験の結果、予測アプローチは競争力のある性能を達成しましたが、標準的なアプローチにより多くのリソースを投資することと比較して、パレート最適ではないことが示されました。なぜなら、トレーニングデータとして完全に観測された学習曲線を必要とするからです。しかし、既存の学習曲線データを活用することで、この欠点を軽減できる可能性があります。
英文摘要#
Successive Halving is a popular algorithm for hyperparameter optimization which allocates exponentially more resources to promising candidates. However, the algorithm typically relies on intermediate performance values to make resource allocation decisions, which can cause it to prematurely prune slow starters that would eventually become the best candidate. We investigate whether guiding Successive Halving with learning curve predictions based on Latent Kronecker Gaussian Processes can overcome this limitation. In a large-scale empirical study involving different neural network architectures and a click prediction dataset, we compare this predictive approach to the standard approach based on current performance values. Our experiments show that, although the predictive approach achieves competitive performance, it is not Pareto optimal compared to investing more resources into the standard approach, because it requires fully observed learning curves as training data. However, this downside could be mitigated by leveraging existing learning curve data.
文章ページ#
潜在 Kronecker ガウス過程に基づく学習曲線予測の連続分半法
PDF 取得#
抖音で QR コードをスキャンしてさらに素晴らしいコンテンツを確認