中文标题#
壓縮擴散模型
英文标题#
Squeezed Diffusion Models
中文摘要#
擴散模型通常注入各向同性的高斯噪聲，而忽略數據中的結構。 受量子壓縮態根據海森堡不確定性原理重新分配不確定性的啟發，我們引入了壓縮擴散模型（SDM），該模型在訓練分布的主要成分上各向異性地縮放噪聲。 由於在物理學中壓縮可以提高信噪比，我們假設以數據相關的方式縮放噪聲可以更好地幫助擴散模型學習重要的數據特徵。 我們研究了兩種配置：(i) 海森堡擴散模型，在主軸上補償縮放的同時在正交方向上進行反向縮放，以及 (ii) 標準 SDM 變體，僅縮放主軸。 出人意料的是，在 CIFAR-10/100 和 CelebA-64 上，輕微的反壓縮 —— 即在主軸上增加方差 —— 始終能將 FID 提升高達 15%，並將精確率 - 召回率前沿推向更高的召回率。 我們的結果表明，簡單的、數據感知的噪聲塑造可以在不改變架構的情況下帶來穩健的生成優勢。
英文摘要#
Diffusion models typically inject isotropic Gaussian noise, disregarding structure in the data. Motivated by the way quantum squeezed states redistribute uncertainty according to the Heisenberg uncertainty principle, we introduce Squeezed Diffusion Models (SDM), which scale noise anisotropically along the principal component of the training distribution. As squeezing enhances the signal-to-noise ratio in physics, we hypothesize that scaling noise in a data-dependent manner can better assist diffusion models in learning important data features. We study two configurations: (i) a Heisenberg diffusion model that compensates the scaling on the principal axis with inverse scaling on orthogonal directions and (ii) a standard SDM variant that scales only the principal axis. Counterintuitively, on CIFAR-10/100 and CelebA-64, mild antisqueezing - i.e. increasing variance on the principal axis - consistently improves FID by up to 15% and shifts the precision-recall frontier toward higher recall. Our results demonstrate that simple, data-aware noise shaping can deliver robust generative gains without architectural changes.
文章页面#
PDF 获取#
抖音掃碼查看更多精彩內容