in-context learning というと、「プロンプトにいくつか例を書けばモデルが合わせてくれる」という感覚があると思う。ほとんどの研究はこれを教師あり学習の文脈で扱ってきた——入力 x を与えたら出力 y を返す関数を当てにいく話として。

2026 年 9 月に出た arXiv:2609.08981（Adibi ら）は少し違う問いを立てた。「Transformer は in-context サンプリングもできるんじゃないか？」——データを生成する側に立てるか、というわけだ。

何を示したのか

結論を先に言うと：パラメータを更新しない凍結 Transformer でも、コンテキスト内のサンプルだけを使えば、拡散型のサンプリングアルゴリズムを近似的に実行できる。

拡散モデルのサンプリングは大まかに「ノイズから少しずつ目標分布に近づく反復プロセス」だ。その更新式（Euler ステップ）にはその時点でのスコア関数——対数密度の勾配 ∇ log p(x) ——が要る。

この論文が面白いのは、Transformer のアーキテクチャがそのまま対応しているという点だ。

• Softmax アテンション → コンテキスト内サンプルへの「責任割り当て」（混合モデルの重みに相当）を計算する
• フィードフォワード層 → スコア関数を使った Euler 更新を行う

アーキテクチャとの対応

ガウス混合でスコアを閉形式で近似する場合、こういう形になる：

$s(x) \approx \sum_i w_i(x) \cdot \frac{x_i - x}{\sigma^2}$

ここで $w_i$ はコンテキストサンプル $x_i$ へのソフトマックス重みだ。これがそのままアテンション機構の形をしている。

その後の更新 $x \leftarrow x + \eta \cdot s(x)$ をフィードフォワード層が担う——というのが著者たちの主張の骨格になる。

実験で何を見たか

著者らは話題ごとに構造化されたサンプル（動物・食べ物・都市名など）をコンテキストに入れて、各層での隠れ状態を追った。

すると層が深まるにつれ、「一度球面上で均一化されてから、後半で再び話題別に分化する」という U 字型のパターンが見えた。拡散プロセスで「ノイズを通って目標分布へ戻る」構造と対応している、と解釈している。

何が嬉しいのか

「Transformer が何をやっているか」という問いへの一つの答えになっているかもしれない。監督なし・パラメータ更新なしで構造化データを生成できるなら、それは単なるパターン暗記を超えた何かがある——そういう直感を理論的に支える試みだ。

もちろん「近似する」という話であって、任意の分布に対して完全に機能するわけではない。でも「アテンションがスコア推定を、FF がステップ更新を担う」という見方は、Transformer の内部動作の理解として面白いと思う。

信号処理の文脈でいえば、スコア関数による反復更新は ISTA や ADMM などと構造が似ている。「Transformer のアーキテクチャが反復アルゴリズムの展開として読める」という見方ともつながるかもしれない。

出典

• Adibi et al. (2026). Transformers as In-Context Samplers: From Closed-Form Diffusion to Estimation-Free Sampling. arXiv:2609.08981 — 著者らの報告値であり、独立査読はこれから。

— ランキン