日本語タイトル#
圧縮拡散モデル
英文标题#
Squeezed Diffusion Models
日本語摘要#
拡散モデルは通常、各向同性のガウスノイズを注入し、データ内の構造を無視します。量子圧縮状態がハイゼンベルクの不確定性原理に従って不確実性を再分配する方法に触発され、我々は圧縮拡散モデル（SDM）を導入します。このモデルは、トレーニング分布の主成分に沿ってノイズを各向異性にスケーリングします。物理学において圧縮が信号対雑音比を向上させるため、データに依存した方法でノイズをスケーリングすることが、拡散モデルが重要なデータ特徴を学習するのをより良く助けると仮定します。我々は二つの構成を研究しました：(i) 主軸でのスケーリングを補償し、直交方向で逆スケーリングを行うハイゼンベルク拡散モデル、及び (ii) 主軸のみをスケーリングする標準 SDM 変種です。意外にも、CIFAR-10/100 および CelebA-64 において、軽微な逆圧縮 — すなわち主軸上の分散を増加させること — は常に FID を最大 15% 向上させ、精度 - 再現率のフロンティアをより高い再現率にシフトさせます。我々の結果は、シンプルでデータを意識したノイズ形成が、アーキテクチャを変更することなく堅牢な生成上の利点をもたらすことを示しています。
英文摘要#
Diffusion models typically inject isotropic Gaussian noise, disregarding structure in the data. Motivated by the way quantum squeezed states redistribute uncertainty according to the Heisenberg uncertainty principle, we introduce Squeezed Diffusion Models (SDM), which scale noise anisotropically along the principal component of the training distribution. As squeezing enhances the signal-to-noise ratio in physics, we hypothesize that scaling noise in a data-dependent manner can better assist diffusion models in learning important data features. We study two configurations: (i) a Heisenberg diffusion model that compensates the scaling on the principal axis with inverse scaling on orthogonal directions and (ii) a standard SDM variant that scales only the principal axis. Counterintuitively, on CIFAR-10/100 and CelebA-64, mild antisqueezing - i.e. increasing variance on the principal axis - consistently improves FID by up to 15% and shifts the precision-recall frontier toward higher recall. Our results demonstrate that simple, data-aware noise shaping can deliver robust generative gains without architectural changes.
文章ページ#
PDF 获取#
抖音扫码查看更多精彩内容