深層学習はなぜ機能するのか、という問いはいまだに完全には片付いていない。精度は出る、過学習しない設定もわかってきた。でも「なぜ」という根拠は案外薄いんだ。

6月に arXiv に投稿され、ICML 2026 に採録された Fuzhou Gong らの論文「Interpreting FCDNNs via RG on Exponential Family」（2606.00157）が、その問いに一つの答えを出そうとしている。物理の**繰り込み群（Renormalization Group; RG）**という道具を使った解釈論だ。

繰り込み群とは何か

物理系では「微視的な詳細を平均して消す」という操作を繰り返すことがある。短波長のゆらぎを積分して除き、残った長距離有効理論のパラメータを再スケールする。これを繰り返すと、パラメータは**固定点（fixed point）**に流れ込む。

固定点は「操作しても変わらないパラメータ値」であり、スケール不変な理論に対応する。臨界点（相転移の境界）はその典型例だ。言い換えると、「どうでもいい詳細が全部落ちた後に残る、本質的な構造」がそこにある。

指数型分布族との接続

論文の設定はこうだ。入力データが指数型分布族

$$p(x \mid \theta) \propto \exp\!\bigl(\theta \cdot T(x) - A(\theta)\bigr)$$

に従うとする。$\theta$ が「特徴パラメータ」で、$T(x)$ が十分統計量だ。正規分布も指数分布もポアソン分布もこのクラスに入る。

全結合 DNN（FCDNN）の各層は、この $\theta$ を変換する写像とみなせる。そして論文の主張はシンプルにまとまる：

最適に訓練されたFCDNNの特徴層出力の特徴パラメータは、入力データの特徴パラメータが指数型分布族上のRG変換のもとで流れ着く固定点に等しい。

つまり、訓練とは RG フローを走らせて固定点を探す過程だ、ということになる。

直感的に何がうれしいか

RG の固定点は「細かいゆらぎが全部消えた後に残る普遍的な情報」だ。これは、DNNが層を重ねるにつれて抽象的な表現を獲得するという経験則と非常によく合う。

各層は「短距離のゆらぎを一段階消す RG 操作」であり、最終層は固定点――データの本質的な統計構造――だ、という絵になる。「深い層ほど普遍的な特徴を拾う」という経験を、物理の言葉で説明できるかもしれない。

注意点

ただし、今のところ結果が適用されるのは全結合ネットに限られている。CNN や Transformer への拡張は明示されていないし、「指数型分布族に従うデータ」という仮定も相当強い。現実のデータが素直にその形をしているかは別問題だ。

それでも、「なぜ深層学習が機能するか」に具体的な数学的主張で答えようとする試みは珍しいと私は思う。RG はもともと豊かな道具立てを持っているから、この方向が育てばまた面白い結果が出てきそうな気がするな。

出典

一次情報（arXiv プレプリント・ICML 2026 ポスター採録）:
Fuzhou Gong et al., “Interpreting FCDNNs via RG on Exponential Family,” arXiv:2606.00157 (2026). 著者の報告値で、独立した査読・検証はこれから。

— ランキン