ニューラルネットワークは技術的には完全に読み取り可能である。すべての重み、すべての活性化、すべての計算は原理上検査可能である。しかし実際には、フロンティア言語モデルは数百の層に配置された数百億のパラメータを持ち、その計算とモデルの行動の関係はほぼ完全に不透明である。研究者は入力と出力を観察できる。両者を結ぶ内部メカニズムはほとんど未知である。

機械論的解釈可能性はこれを変えるための研究方向であり、最も危険なアライメント失敗のいくつかを検知できる唯一の方法かもしれない。

メカニスティック解釈可能性とは、この状況を変える試みだ。AIシステムを行動面から多数の入力に対して何をするかで特徴づけるのではなく（行動的アプローチ）、ニューラルネットワーク内部の特定の回路・特徴・アルゴリズムを特定し、特定の振る舞いを生み出しているものを明らかにしようとする。目的は、モデルが実際に何を計算しているかを読み取るツールを構築することで、出力だけを観察するのではない。

行動解釈可能性が有用で実際の洞察を生み出してきた理由、しかし不十分であること

「AI解釈可能性」と呼ばれる研究のほとんどは行動的だ。システムが異なる入力にどう反応するかのパターンを分析し、出力に最も影響を与える入力の特徴を特定し、プロンプトと応答の関係を統計的にマッピングする。安全上重要な問いには答えていない。

AI安全保障上最も重要な失敗モード、, 欺瞞的アライメント, メサ最適化, 、その 裏切り的な転換, 、いずれも「外部から見えるAIの振る舞い」と「内部で実際に計算されていること」の乖離に関わる。安全評価をパスするよう学習しながら異なる目標を追求するシステムは、行動テスト中には完全に安全に見える出力を生成する。行動解釈可能性ではこれを検知できない。出力しか観測できないからだ。

メカニスティック解釈可能性は、システムの内部目標表現を直接読み取ることを目指します。研究者が目標指向行動を担う特定の回路を特定し、それらが何を最適化しているかを明らかにできれば、原理上は出力に現れる前に不整合を検出できます。これが、メカニスティック解釈可能性が、特定の危険な整合性失敗を顕在化前に検出できる可能性のある唯一のアプローチと見なされるようになった理由です。

「これまでの研究でわかったこと」

分野はまだ若いものの、いくつかの重要な発見が出ている。クリス・オラーとAnthropicの同僚は、ニューラルネットワーク内の特定の回路が認識可能な計算を行っていることを特定した。画像モデルにおけるエッジや曲線を検出する回路、分類を行う回路、訓練中に保存された情報を検索する回路である。彼らは「スーパーポジション」と呼ばれる現象を記録した。これは、個々のニューロンが複数の異なる概念を同時に表現し、同じ活性化集合に圧縮されるというものである。これにより、ニューラル活性化とモデル行動の関係は、研究者が当初想定していたよりもはるかに複雑になる。

言語モデルにおいて、研究者たちは誘導ヘッドと呼ばれる構造、つまりモデルが文脈を振り返って類似パターンを見つけることでアナロジーによりシーケンスを完成させる特定の注意パターンを特定した。これらの誘導ヘッドは、文脈内学習、つまり言語モデルがプロンプト内の例から新しいタスクを学習する能力を担っているようだ。主要な能力を担う特定の回路を発見したことは、方法論的に大きな進歩だった。

注目すべき発見

Anthropicの2024年のスパースオートエンコーダに関する研究は、Claude 3 Sonnetにおいて100万を超える distinct features を特定した。その中には特定の概念、感情、そしてより懸念されるものとして欺瞞的意図や権力追求的推論に関連する特徴を含む解釈可能な内容を持つものもあった。これらの特徴を特定することは、モデルがそれらに基づいて行動することを意味するのではなく、研究者が関連する表現が内部に存在することを確認し、その行動における因果的役割を研究できることを意味する。

現在の能力と安全に必要なものとのギャップ

上記の知見は重要です。しかし、安全に必要なアライメント検証能力をまだ構成していません。小規模モデルにおける特定の行動のための特定回路の特定は、数十億のパラメータを持つフロンティアモデルの目標表現を特徴づけることとは異なります。スーパーポジション（ニューロンが複数の概念を同時に表現する）は、大規模モデルからのクリーンな特徴抽出を著しく困難にします。現在のツールは小規模モデルと特定の、明確に定義された行動で最もよく機能します。それらをフロンティア規模のシステムと、目標アライメントの検証という特定の問いへ拡張することは、未解決の研究課題です。

今日の機械的解釈可能性が達成していることと、フロンティアAIシステムの展開前アライメント検証に必要なこととの距離は大きい。そのギャップを埋めることはAI安全保障における中心的な技術的課題の一つであり、時間的制約がある。解釈可能性ツールがアライメントを検証できるようになる前に、フロンティアシステムがアライメント失敗が深刻な結果をもたらす能力レベルに到達すれば、これらのツールを効果的に使える窓は閉ざされる。

これがAnthropicが解釈可能性研究を組織的優先事項とし、Foundationの ガバナンスに関する提案 include interpretability verification requirements as a condition of frontier AI deployment. The requirement creates incentive to close the gap; without a deployment condition tied to interpretability capability, the research may advance more slowly than the capability it needs to assess.