Transformerの注意機構は、QueryとKeyの内積でスコアを計算する。これは信号処理の文脈で言えば、ある種の相関演算に近い。だとすれば、QKプロジェクションを「スペクトル」として扱い、そこにフィルタをかけることに意味があるんじゃないか——という問いが、最近arXivに出てきた論文（2610.00009）の出発点だ。

QKをスペクトルとして見る

Transformerにおける注意重みは、$\text{softmax}(QK^\top / \sqrt{d})$ で計算される。$Q$ と $K$ はそれぞれ入力の線形変換だが、これを時系列的な信号として捉え直すと、各トークンは一種のサンプル点になる。

論文の手法 FourierQK では、$Q$ と $K$ の各ベクトルにFFTをかけ、周波数ドメインでフィルタを適用してからIFFTで戻す。この操作の後に通常の内積計算を行う。フィルタの形状（バンド幅、中心周波数、DC/Nyquist成分の扱い）を変えると、内積の性質が変わる、というのが核心だ。

リーケージ―カバレッジ則とは

FFTに詳しい人には馴染みの話だが、有限長のFFTにはスペクトルリーケージがある。ウィンドウの不連続性が、本来スペクトルが存在しない周波数帯にエネルギーを漏らす現象だ。

この論文が主張するのは「リーケージとカバレッジはトレードオフだ」という関係だ。狭帯域フィルタは少ない周波数ビンしかカバーしないが、リーケージは少ない。広帯域フィルタは多くの周波数をカバーするが、リーケージも多い。これを「leakage-coverage law」と呼んでいる。

具体的な数字として、2ビンをカバーする狭帯域フィルタはリーケージがほぼゼロだが、96ビンをカバーする広帯域フィルタはリーケージが大きくなる。どちらが「良い」かはタスク依存で、最適なバンド幅が存在する。

ゼロ平均フィルタの意味

もうひとつ面白いのが、フィルタの「許容条件（admissibility）」だ。これはウェーブレット変換でよく出てくる概念で、要するにDC成分がゼロであること。

論文では、Mexican Hatフィルタのようなゼロ平均フィルタが、同スケールのガウシアン（DCゼロでない）より良い結果を出すと報告している。理由はリーケージへの部分的な耐性だ。ゼロ平均フィルタはDC成分を除去するので、低周波のリーケージが内積に混入するのを抑えられる。

一方、実験ではDC成分をあえて取り除くフィルタを使うと、位相をランダムにした場合と同じ損失（val = 2.017）になったという報告もある。DC情報を捨てると性能が下がる、という面もある。この辺のトレードオフは少し複雑だ。

どこまで信じるか

これは一人の著者による独立プレプリントで、ベンチマークはTinyShakespeareという小規模なもの。6層GPTで1.15 natsの改善、という数字は出ているが、大規模なモデルや別のタスクに汎化するかどうかはまだわからない。

ただ、視点として面白いのは確かだと思う。Transformerの内積を「スペクトル相関」として解釈し、フィルタ設計の観点から注意機構を分析する、というアプローチは、信号処理の概念をアーキテクチャ設計に持ち込む一例として参考になるかな。

出典

• arXiv:2610.00009 (2026) — “FourierQK: Filter Shape, Admissibility and the Leakage-Coverage Law” — 著者（Athanasios Zeris）の報告値で、独立検証・査読はこれから

— ランキン